如何在非DRMAA批處理計劃環境中使用Dask？

Question

我想使用dask分佈式，既支持算法和一般任務圖執行。不幸的是，我們使用的批處理調度程序不支持DRMAA，因此我無法使用dask-drmaa。我們有NFS可用於所有主機。有沒有辦法可以開始使用Dask，或者我需要獲得批處理調度程序支持的DRMAA嗎？

Answer 1

您可以使用批處理調度程序來運行dask-scheduler和dask-worker進程，這些進程只是普通的python進程。因爲你有一個共享的網絡文件系統（NFS），這應該特別容易。

使用批處理調度運行以下命令

dask-scheduler --scheduler-file /path/to/some/new-file.json 

還可以使用批處理調度運行以下命令多次

dask-worker --scheduler-file /path/to/some/new-file.json 
dask-worker --scheduler-file /path/to/some/new-file.json 
dask-worker --scheduler-file /path/to/some/new-file.json 

調度和工人將由文件協調它們的位置並相互同步。

然後，您可以從任何的Python會話在同一網絡上使用以下命令連接到這個集羣

>>> from dask.distributed import Client 
>>> client = Client(scheduler_file='/path/to/some/new-file.json') 

進一步的信息可以在這裏找到：http://distributed.readthedocs.io/en/latest/setup.html#using-a-shared-network-file-system-and-a-job-scheduler