ParDo內DoFn的狀態

Question

我們有什麼能夠提供DoFn的完成狀態，就像函數完成它的執行一樣嗎？

我們是否可以生成任何觸發器或任何可以公正地完成DoFn函數內部所有步驟的公平想法？

任何幫助將不勝感激。

Answer 1

在ParDo中，您將始終知道函數何時完成，因此假設您想知道整個PCollection何時處理完畢 - 您可以在應用ParDo後創建新的Pcollection，然後在新的PCollection上應用後續轉換。例如。

PCollection<T> step = ...; 
PCollection<T> afterStep = step.apply(ParDo.of(new DoFn<...>(){...})); 
afterStep.apply(ParDo.of(new DoFn<...>(){...}));