2017-08-12 65 views
0

看起來目前爲止,我們只能使用sideInputs來處理每個輸入行時使用側面輸入的DoFnGoogle Cloud Dataflow(Apache Beam) - 我可以使用SideInputs和TextIO.write嗎?

有什麼方法可以利用輸入與TextIO.Write? 在我的情況下,

outputTuple.get(deadletterTag) 
     .apply("Write to deadletter files", 
      TextIO.write().to(String.format("gs://dataflow-xxx/deadletter/%s/", uniqueID)) 
       .withSuffix(".csv") 
       .withHeader(csvHeader) 
     ).withSideInputs(csvHeaderView); 

我有一個CSV標題信息爲PCollectionView<String>(通過使用Combine.globallyAsSingletonView在之前的過程中獲得),並希望以某種方式提取頭字符串,並將其分配到withHeader,但不知道如果有可能,因爲沒有ProcessContext出現。

謝謝。

回答

1

不幸的是,從Apache Beam 2.2.0及更早的版本開始並沒有簡單的方法。

我創建了BEAM-2771,它追蹤可以啓用此功能的一般功能。

+0

理解,這很傷心,但無論如何非常感謝你的答案! –

相關問題