如何使用Google Cloud Dataflow將壓縮文件寫入Google Cloud Storage？

Question

我正嘗試在Google Dataflow程序中將Gzip文件寫入Google Cloud Storage存儲桶。常見問題解答說

Does the TextIO source and sink support compressed files, such as GZip? 
Yes. Cloud Dataflow can read files compressed with gzip and bzip2. 

這是否意味着他們不支持寫入GZip文件？

Answer 1

正確，我們目前沒有內置的寫gzip文件的支持。 然而，user-defined data format API，特別是FileBasedSink，應該很容易寫出像你這樣的接收器。

Answer 2

在新梁庫，你現在可以做到這一點更容易：

PDone d = c2.apply(TextIO.write() 
    .to("gs://path") 
    .withWritableByteChannelFactory(FileBasedSink.CompressionType.GZIP));