將數據流管道的輸出寫入分區目標

Question

我們有一個流事件源，每秒有數千個事件，這些事件都標有一個ID，標識我們事件所屬的成千上萬個客戶中的哪一個。我們希望使用此事件源來填充數據倉庫（以流模式），但是，我們的事件源不是持久的，所以我們還想將原始數據存檔在GCS中，以便通過我們的數據重播它倉庫管道，如果我們做出需要它的改變。由於數據保留要求，我們堅持的任何原始數據都需要由客戶進行分區，以便我們可以輕鬆地將其刪除。

在Dataflow中解決這個問題最簡單的方法是什麼？目前我們正在使用自定義接收器創建一個數據流作業，將數據寫入GCS/BigQuery上的每個客戶的文件，這是否合理？

Answer 1

爲了指定文件名和路徑，請參見TextIO documentation。你會提供文件名/路徑等到輸出作家。

對於您的多輸出文件的使用情況，您可以使用Partition函數從單個源PCollection中創建多個PCollections。