2013-05-22 156 views
2

在同一時間接收任務的1000我正在運行產生近10000對象的腳本後死亡。在每個對象的保存中,Celery任務將被調用,因此在短短1-3分鐘內,Celery將接收1000個任務並且其工作人員正在死亡(狀態仍顯示爲RUNNING)。工人在Django芹菜

所以我需要一次又一次的重新啓動。由於我重新啓動很多次,許多Python進程(運行Celery)消耗了大量內存。

+1

那麼究竟什麼是你的問題?請清除 –

+0

我必須做某些事情,這樣工作人員不應該死亡,我不應該重新啓動,它應該自動重新生成,進程不應該像那樣累積。 – user2349115

+0

我在前面的評論中提到了我想要的內容 – user2349115

回答

2

如果我理解正確,你有同樣的問題,我有幾個星期前。每隔一段時間,似乎我們的芹菜工人就凍結了(我們發現它實際上正在接受任務,但沒有執行任何操作),並且在重新啓動工作人員之後,它會急於完成任務直到它再次凍結。

的問題通過執行以下操作PIP安裝解決。

pip install https://github.com/celery/billiard/zipball/2.7 
pip install https://github.com/celery/celery/zipball/asynwrite 

我在芹菜項目的GitHub問題跟蹤頁面找到了解決方案,但找不到確切的票證。 Heres a link to a similar issue though (that uses this as a solution).

+0

你是如何運行你的芹菜工人?是通過主管還是其他方式? –

+1

這是一段時間了,但是,我相信這是通過主管 – Hodson