設置管道谷歌數據流的優先級

Question

我是新的谷歌數據流。我有2個數據流管道來執行2個不同的工作。一個是ETL過程並加載到Bigquery，另一個從Bigquery讀取以彙總報告。 我想運行管道ETL firt，並在完成報告管道將運行以確保bigquery中的數據是最新更新。

我曾嘗試在一條管道中運行，但它無能爲力。現在我必須先爲ETL運行手動，然後運行報告管道。

任何機構可以給我一些建議，在一條管道中運行2個工作。 謝謝。

Answer 1

您應該可以在單一管道中執行這兩個操作。與寫入BigQuery然後嘗試讀取並生成報告不同，可以考慮將這些中間數據用於這兩種用途。例如：

PCollection<Input> input = /* ... */; 
// Perform your transformation logic 
PCollection<Intermediate> intermediate = input 
    .apply(...) 
    .apply(...); 
// Convert the transformed results into table rows and 
// write those to BigQuery. 
intermediate 
    .apply(ParDo.of(new IntermediateToTableRowETL()) 
    .apply(BigQueryIO.write(...)); 
// Generate your report over the transformed data 
intermediate 
    .apply(...) 
    .apply(...);