芹菜 - 散裝隊列任務

Question

我已經一些排隊的芹菜任務大量（1000），例如起見代碼讓我們說這就是：

for x in xrange(2000): 
    example_task.delay(x) 

是否有排隊的更好/更有效的方法大量的任務一次？他們都有不同的論點。

Answer 1

調用大量的任務對你的芹菜工人來說無法健康。 另外，如果你正在考慮收集調用任務的結果，那麼你的代碼將不是最優的。

您可以將您的任務分批處理成一定的大小。考慮下面的鏈接中提到的示例。

http://docs.celeryproject.org/en/latest/userguide/canvas.html#chunks