如何在aws數據管道下運行子樹

Question

是否有可能在aws數據管道下運行整個依賴樹的子部分。至於我能理解的是沒有辦法做到這一點。

任何一個都必須重新運行整個管道或只是一些單一的sql活動。隨着sql活動的數量開始增加，這變得很難。 ..

Answer 1

我不確定你的用例是什麼，但我認爲這個技巧可能對你有幫助。

您將需要在沒有交集的樹中分解圖。連接來自不同樹的節點的所有邊應該被聯合節點替代。如果您繪製脫穎而出的例子是：

A1 -> A2 -> B1 -> B2 

這裏有兩個樹A和B.此圖應該轉變成圖形波紋管：

A1 -> A2 -> J1 -> B1 -> B2 

J1是聯合節點。

樹中的所有節點應該具有屬性failureAndRerunMode設置爲cascade，所有聯合節點都應將此屬性設置爲none。

這允許您將級聯故障本地化到子樹的大小。