芹菜未能接受任務

我爲芹菜結果添加了一個後端，並且我遇到了一個問題，我發送任務，一些接受而另一些不接受。芹菜未能接受任務

任務是和不執行都顯示此日誌輸出：

[2014-06-09 15:50:59,093: DEBUG/MainProcess] Task accepted: tasks.multithread_device_listing[e3ae6d12-ad4b-4114-9383-5802c91541f2] pid:2810

雖然未執行的任務永遠不會到來：被執行的則顯示此輸出

[2014-06-09 15:50:59,091: INFO/MainProcess] Received task: tasks.multithread_device_listing[e3ae6d12-ad4b-4114-9383-5802c91541f2]

問鼎在上面的路線。

我如何發送任務：

from celery import group 
from time import sleep 


signatures = [] 
signature = some_method_with_task_decorator.subtask() 
signatures.append(signature) 
signature = some_other_method_with_task_decorator.subtask() 
signatures.append(signature) 
job = group(signatures) 
result = job.apply_async() 
while not result.ready(): 
    sleep(60)

從擁有它舉報我的芹菜配置爲：

software -> celery:3.1.11 (Cipater) kombu:3.0.18 py:2.7.5 
       billiard:3.3.0.17 py-amqp:1.4.5 
    platform -> system:Darwin arch:64bit imp:CPython 
    loader -> celery.loaders.app.AppLoader 
    settings -> transport:amqp results:amqp://username:[email protected]:5672/automated_reports 

    CELERY_QUEUES: 
     (<unbound Queue automated_reports -> <unbound Exchange default(direct)> -> automated_reports>,) 
    CELERY_DEFAULT_ROUTING_KEY: '********' 
    CELERY_INCLUDE: 
     ('celery.app.builtins', 
    'automated_reports.queue.tasks', 
    'automated_reports.queue.subtasks') 
    CELERY_IMPORTS: 
     ('automated_reports.queue.tasks', 'automated_reports.queue.subtasks') 
    CELERY_RESULT_PERSISTENT: True 
    CELERY_ROUTES: { 
     'automated_reports.queue.tasks.run_device_info_report': { 'queue': 'automated_reports'}, 
     'uploader.queue.subtasks.multithread_device_listing': { 'queue': 'automated_reports'}, 
     'uploader.queue.subtasks.multithread_individual_device': { 'queue': 'automated_reports'}, 
     'uploader.queue.tasks.multithread_device_listing': { 'queue': 'automated_reports'}, 
     'uploader.queue.tasks.multithread_individual_device': { 'queue': 'automated_reports'}} 
    CELERY_DEFAULT_QUEUE: 'automated_reports' 
    BROKER_URL: 'amqp://username:********@localhost:5672/automated_reports' 
    CELERY_RESULT_BACKEND: 'amqp://username:[email protected]:5672/automated_reports'

我的啓動命令是：

~/Documents/Development/automated_reports/bin/celery worker --loglevel=DEBUG --autoreload -A automated_reports.queue.tasks -Q automated_reports -B --schedule=~/Documents/Development/automated_reports/log/celerybeat --autoscale=10,3

此外，當我停止芹菜，它將任務排除在我的隊列之外，從未被接受。然後當我重新啓動時，它接受它們並執行它們。

任何與此行爲的幫助，非常感謝。我確定它與我的後端配置有關，但我很難隔離問題或糾正。謝謝！

來源

2014-06-10 Becca Petrin

我找到了答案。

我注意到'inqueue'似乎在某些情況下可以正確接收任務，但不是其他人。當我搜索芹菜文檔時，我發現這個提示：http://celery.readthedocs.org/en/latest/whatsnew-3.1.html?highlight=inqueue#caveats

我正在執行長期運行任務中的子任務，所以這聽起來非常像我看到的行爲。此外，我在提到的版本，而在以前的版本，我沒有這個問題與相同的配置。

我添加了-Ofair參數來啓動worker，並立即解決了這個問題。

來源

2014-06-10 14:54:11

芹菜未能接受任務

回答

相關問題