dask處理任務兩次

Question

我注意到dask圖的任務可以由不同的工作人員執行多次。

我也看到日誌中的調度控制檯（不知道是不是可以涉及到彈性）：

「警告 - 失去與...在發送結果：流是 關閉「

有沒有辦法阻止dask在不同的工作人員上執行兩次相同的任務？

請注意，我用： DASK 0.15.0 分佈1.15.1

THX

伯特蘭

Answer 1

簡短的回答是 「不」。

Dask保留多次致電您的功能的權利。如果工作人員出現故障，或者Dask執行一些負載平衡，並在羣集剛剛啓動的同時在羣集周圍移動一些任務，則可能會發生這種情況。

但是你可以顯著通過關閉工作竊取降低運行多次任務的可能性：

def turn_off_stealing(dask_scheduler): 
    dask_scheduler.extensions['stealing']._pc.stop() 

client.run(turn_off_stealing)