Google Cloud Dataflow修復了基於零的索引和一個基於索引

Question

我和我的團隊開始使用Google Cloud Dataflow遠程運行我們的作業，而不是在我們的計算機上本地運行作業。我們從Python中設置的朱利安示例開始，以確保部署工作成功。

即使它比我的本地計算機花費的時間更長，它在Google Cloud Dataflow上也完成了。

我們遇到的問題是他們使用零基索引和一個基於索引的相同文件名，這對我們來說沒有任何意義。

我們認爲在00008-的-00008或00009-的-00009結束做出比在00008-的-00009結局更有意義。無論如何，我們可以解決這個問題，讓左側和右側的數字可以匹配？

Answer 1

通過使用0000X-of-0000Y格式，Beam嘗試執行index-of-count。右邊的數字是碎片的總數，而左邊的數字是從零開始的索引。

Apache Beam中的接收器當前不支持更改此行爲（很容易）。要自己添加它，您必須修改Apache Beam中的代碼（特別是，around here）。

希望這會有所幫助。