如何解决Celery-收到类型为'core.tasks.scrape_dev_to'
尝试启动和运行基于芹菜的刮板。芹菜工人似乎可以单独运行,但是当我还运行芹菜拍服务器时,该工人给了我这个关键错误。
File "c:\users\myusername\.virtualenvs\django-news-scraper-dbqk-dk5\lib\site-packages\celery\worker\consumer\consumer.py",line 555,in on_task_received
strategy = strategies[type_]
KeyError: 'core.tasks.scrape_dev_to'
[2020-10-04 16:51:41,231: ERROR/MainProcess] Received unregistered task of type 'core.tasks.scrape_dev_to'.
The message has been ignored and discarded.
我在stackoverflow上经历了许多类似的答案,但是都没有解决我的问题。我将列出最后尝试的内容。
项目结构:
核心-任务
新闻采集器 -celery.py -settings.py
任务:
import time
from newsscraper.celery import shared_task,task
from .scrapers import scrape
@task
def scrape_dev_to():
URL = "https://dev.to/search?q=django"
scrape(URL)
return
settings.py:
INSTALLED_APPS = [
'django.contrib.admin',...
'django_celery_beat','core',]
...
# I Added this setting while troubleshooting,got a new ModuleNotFound error for core.tasks
#CELERY_IMPORTS = (
# 'core.tasks',#)
CELERY_BROKER_URL = 'redis://localhost:6379'
CELERY_BEAT_SCHEDULE = {
"ScrapeStuff": {
'task': 'core.tasks.scrape_dev_to','schedule': 10 # crontab(minute="*/30")
}
}
celery.py:
from __future__ import absolute_import,unicode_literals
import os
from celery import Celery
# set the default Django settings module for the 'celery' program.
os.environ.setdefault('DJANGO_SETTINGS_MODULE','newsscraper.settings')
app = Celery('newsscraper')
app.config_from_object('django.conf:settings',namespace='CELERY')
# Load task modules from all registered Django app configs.
app.autodiscover_tasks()
当我为celery worker运行debug时,我看到celery没有要注册的任务(scrape_dev_to)。 celery.py中的app.autodiscover_tasks()调用是否应该解决这个问题?这是输出:
. celery.accumulate
. celery.backend_cleanup
. celery.chain
. celery.chord
. celery.chord_unlock
. celery.chunks
. celery.group
. celery.map
. celery.starmap
当我尝试将core.tasks添加到CELERY_IMPORTS设置时,我还会收到ModuleNotFoundError。这是我对问题所在的最佳猜测,但我不知道如何解决。
我尝试过的事情:
- 将core.tasks添加到celery_imports设置。当我尝试运行芹菜拍时,这会导致一个新错误:“没有名为“ core.tasks”的模块”。
- 在任务中对名称进行硬编码:name ='core.tasks.scrape_dev_to'
- 在调用工人时明确指定了celery配置:celery-新闻工作者-l INFO -settings = celeryconfig
- 玩我的进口商品(例如,从newsscraper.celery而不是celery)
- 在包含任务的模块的init.py中添加一些配置代码(已经在包含设置和celery.py的模块的init.py中添加了它)
- Python manage.py检查未发现问题
- 显式调用core.tasks的工作:celery -A core.tasks worker -l INFO
解决方法
我遇到了同样的问题,这个设置为我解决了。
在您的设置中
CELERY_IMPORTS = [
'app_name.tasks',]
和
# app_name/tasks.py
from celery import shared_task
@shared_task
def my_task(*args,**kwargs):
pass
imports
的文档参考。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。