每個任務的併發級別

Question

我需要使用Celery從幾個域下載大量的URL。我有一個任務下載一個URL，做一些東西，然後在MongoDB中存儲一些數據。

運行該任務的機器可以輕鬆處理運行64個此類型的併發任務，但爲了最大限度地減少對目標web服務器的影響，我只希望它爲每個域使用四個併發請求。有沒有辦法做到這一點？

我看了幾個鎖定示例，但它們似乎都撤銷了一個任務，如果它在某個時間內無法獲取鎖定。

Answer 1

就意識到，這可以很容易地使用鏈和和絃僅僅通過增加URL訪問任務n鏈實現的，（其中n是併發下載的每個域數。）

我可以再加入當所有的URL被下載時，這些鏈條就可以運行一個分析任務。