芹菜 - 需要優先運行的任務

Question

在我的網站中，用戶可以每次更新他們的配置文件（手動），或每天自動運行一次。

此任務正在與芹菜現在分發。

但我有一個「問題」：

每天

，自動更新，工作把所有用戶（+ -6k用戶）隊列：

from celery import group 
from tasks import * 
import datetime 
from lastActivityDate.models import UserActivity 

today = datetime.datetime.today() 
one_day = datetime.timedelta(days=5) 
today -= one_day 

print datetime.datetime.today() 

user_list = UserActivity.objects.filter(last_activity_date__gte=today) 
g = group(update_user_profile.s(i.user.auth.username) for i in user_list) 

print datetime.datetime.today() 
print g(user_list.count()).get() 

如果有人嘗試做手動更新，他們將進入隊列並永遠持續執行。

有沒有一種方法可以設置此手動任務以最佳方式運行？ 或專門爲每個分隔的隊列：手動和自動？

Answer 1

芹菜不支持任務優先級。 （V3.0）

http://docs.celeryproject.org/en/master/faq.html#does-celery-support-task-priorities

您可以通過路由任務解決這個問題。

http://docs.celeryproject.org/en/latest/userguide/routing.html

準備默認和priority_high隊列。

CELERY_DEFAULT_QUEUE = 'default' 
CELERY_QUEUES = (
    Queue('default'), 
    Queue('priority_high'), 
) 

運行兩個守護進程。

user@x:/$ celery worker -Q priority_high 
user@y:/$ celery worker -Q default,priority_high 

和路由任務。

your_task.apply_async(args=['...'], queue='priority_high')