4
我在networkx
有一個定向的非循環圖。每個節點代表一個任務,一個節點的前任是任務依賴(一個給定的任務直到它的依賴執行完畢才能執行)。Networkx作爲一個任務隊列?
我想在異步任務隊列中「執行」圖形,類似於celery
提供的圖形(以便我可以輪詢作業狀態,檢索結果等)。 Celery沒有提供創建DAG的能力(據我所知),並且只要所有依賴關係完成就能夠移動到task
將是至關重要的(DAG可能有多條路徑,並且即使一個任務緩慢/阻塞,有可能轉移到其他任務等)。
是否有任何簡單的例子,我可以如何實現這一目標,或者甚至可以集成networkx
與celery
?
你可能會尋找被稱爲DASK:http://dask.pydata.org/en/latest/custom-graphs.html?highlight=graph – denfromufa