是否可以在特定工作人員列表上運行dask /分佈式作業

我有一個包含40名工作人員的計算網絡，但我只需要在特定主機上執行計算。是否可以限制或重建僅使用指定工作人員的網絡？是否可以在特定工作人員列表上運行dask /分佈式作業

2017-03-16 Alexander Kislitsky

你能更具體嗎？除了是/否的答案之外，很難說出你要找的是什麼。請參閱[爲什麼「可能...」措辭不佳？]（https://softwareengineering.meta.stackexchange.com/questions/7273/why-is-is-it-possible-to-a -poorly措辭-問題/ 7274）。 – EJoshuaS

是的，您可以使用關鍵字workers=指定特定的工作人員到client.submit，client.map，client.compute或client.persist。

futures = client.map(func, args, workers=['worker-1', 'worker-2'])

見http://distributed.readthedocs.io/en/latest/locality.html#user-control 更多選項

您也可以註冊資源，如與工人GPU和限制計算這些。有關更多信息，請參閱http://distributed.readthedocs.io/en/latest/resources.html。

來源

2017-03-16 16:34:35 MRocklin

它有助於限制工作人員名單，但我有一個奇怪的情況。我有4名測試員工，10個計算任務，但只有兩名隨機工作人員被選中進行計算。在其他計算中，另選兩名隨機工作人員。 –

我找到了部分工人選擇的根本原因。我已經將一些數據分散給工人： –

我找到了部分工人選擇的根本原因。我將一些數據分散給工作人員： 'client.scatter（{'config'：{}，'data'：{}}，workers = ['a'，'b'，'c'，'d ''））' 因此，我有部分數據分散，只有兩名工作人員： '{'tcp：// a'：['config']，'tcp：// b'：['data' ]} 當我使用廣播時，我需要所有工作人員的數據，並將它們全部用於計算： 'client.scatter（{'config'：{}，'data'：{}}，workers = ['a'，'b'，'c'，'d']，廣播=真） –

是否可以在特定工作人員列表上運行dask /分佈式作業

回答

相關問題