Google Cloud Dataflow TextIO寫入.gz文件？

Question

我們如何通過Google數據流作業在GCS中創建壓縮文件？

我無法指定壓縮類型。如果該功能尚不存在，是否有更簡潔的方式從Google BigQuery的查詢輸出到壓縮文件？

Answer 1

您將需要使用TextIO寫入文件（有關所有內置I/O轉換的概述，請看here）。

您可以在代碼here看一個例子：

PCollection<String> lines = ...; 
lines.apply(TextIO.write().to("/path/to/file.txt") 
    .withSuffix(".txt") 
    .withWritableByteChannelFactory(FileBasedSink.CompressionType.GZIP)); 

編輯：您還可以從BigQuery的直接從GUI導出表到一個壓縮文件：