如何讓我的Luigi調度程序利用多個內核並行調度標誌？

Question

我在luigi.cfg文件以下行（所有節點上，調度和工人）：

[core] 
parallel-scheduling: true 

然而，當我監視CPU使用率在我的路易吉調度器（具有約〜4000個任務的圖形，處理來自大約100名工作人員的請求），它只使用調度程序中的單個內核，而單個線程通常會達到100％的CPU利用率。我的理解是這個配置變量應該並行調度任務。

源代碼建議此標誌的確應該在調度程序上使用多個內核。在https://github.com/spotify/luigi/blob/master/luigi/interface.py#L194中，撥打電話https://github.com/spotify/luigi/blob/master/luigi/worker.py#L498以並行檢查任務的狀態.complete()。

我錯過了什麼讓我的Luigi調度程序使用它的所有內核？

Answer 1

我剛剛意識到名稱parallel-scheduling有點混亂。它不影響調度程序。只有工人。當該選項設置時，工作人員將並行執行調度階段。

截至今日，沒有辦法爲中央調度程序使用多個內核。