directed-acyclic-graphs

0熱度

1回答

在我的情況下，我在dags路徑下編寫了一個dag文件。啓動氣流調度程序後，它成功加載了dag文件。但是，它改變了dag文件後加載了dag文件。有沒有建議在沒有重啓調度程序的情況下使用dag文件？

2熱度

1回答

以下是繪製相同層次結構的兩種不同方法。請注意，在「堆疊」佈局中，節點總是比其最高「子」節點高一層。（重要：再如看到問題的底部編輯）做這兩種類型的分層繪製方法有特定的名稱？我試圖找到現有的「堆疊」算法，但似乎無法顯示任何信息，因爲我不知道它叫什麼。如果他們沒有名稱來區分它們，因爲它們依賴於相同的算法，是否有衆所周知的參數集用於通過現有算法獲得圖的「堆疊」版本？謝謝！編輯：雖然上面的圖是嚴格的

2熱度

1回答

阿帕奇星火：達格沒有爲reduceByKey

有一個簡單的，也許怪異問題執行兩次：以下代碼DAG執行兩次預計，因爲我打電話的動作兩次： val input = sc.parallelize(List(1,2,3,4)) val result = input.map(x => { println("!!! Input Map !!!") errorLines.add(1) (x,1) }) //.reduce

0熱度

1回答

氣流1分鐘後殺死我的任務

我有一個非常簡單的DAG有兩個任務，如下列： default_args = { 'owner': 'me', 'start_date': dt.datetime.today(), 'retries': 0, 'retry_delay': dt.timedelta(minutes=1) } dag = DAG( 'test DAG',

1熱度

1回答

瞭解風暴拓撲可視化

我正在嘗試使用Apache Storm 1.0.2來處理源自Kafka Spout的數據流。我試圖使用風暴UI的一部分風暴拓撲可視化來了解管道的性能。基於在下面的鏈接提供的解釋，我的可視化的理解是這樣的：越厚螺栓之間的線路（或噴口到螺栓）被組件之間發送的多個業務如果顏色接近紅色，則螺栓/出料口的容量會更高。如果有大容量的組件，它們可能會被證明是管道中的瓶頸。但是，我無法找到關於可視化中組件

0熱度

1回答

Apache Airflow如何將xcom_pull（）值轉換爲DAG？

我有如下推動XCOM值自定義操作： ... task_instance = context['task_instance'] task_instance.xcom_push("list_of_files",file_list) ... 它工作正常。我有一個dag定義文件（my_dag.py），我使用自己的操作符創建了一個任務，它使用此xcom值推送XCOM值，然後我想在循環中執行此操作。

0熱度

1回答

我們可以對TEZ中生成的DAG計劃實施自定義的DAG計劃嗎？如果可能，如何？

而不是使用TEZ在Hive中生成的DAG計劃，我想使用由我創建的自定義DAG計劃。可能嗎？如果是，任何人都可以解釋嗎？

0熱度

1回答

使用Javascript繪製DAG工具

我是新手...有人能指導我使用任何工具繪製Aciclic定向圖嗎？我需要一個工具，獲取作爲輸入json文件並繪製dags。我正在使用Spring MVC構建我的應用程序。

1熱度

1回答

找到多棵樹內的最佳路徑（多層多個節點）

問題是在多層次的多個節點內找到最佳路徑（最低成本/高分）。換句話說，在共享相同節點的多個樹中。例如如所見in the picture; 每個級別都有幾個節點。這些連接與邊緣（每邊也有距離值，但可能不會使用）。並且每條路徑都有來自邊緣值的分數值。得分是路徑的聯合概率。所以我們的目標是找到這些層之間的最佳路徑。數據如下所示; （第一級節點，第2級的節點，第3級的節點...）：得分（1，1，1）

2熱度

1回答

我如何觸發氣流-dag使用TriggerDagRunOperator

我發現下面的鏈接： https://www.linkedin.com/pulse/airflow-lesson-1-triggerdagrunoperator-siddharth-anand 這的確說明了如何使用TriggerDagRunOperator來執行不同的氣流DAG。文檔使用了Airflow自己的示例dags，但我很難理解那些因爲他們沒有使用任何傳感器。有人可以解釋如何使用Trigge