2
A
回答
5
的文件將被覆蓋。這有幾個動機:
- 「類似報告」用例(計算輸入數據的摘要並將結果放在GCS上)似乎比用例更頻繁隨着管道的每次執行,增量生成數據並將更多數據放到GCS上。
- 如果重新運行管道是冪等(-ish?),那麼這很好。例如。如果你在管道中發現了一個錯誤,你可以修復它並重新運行它,並享受覆蓋正確的結果。附加到文件的管道在這個問題上很難處理。
- 不需要爲TextIO.Write指定輸出分片的數量;即使對於完全相同的流水線和相同的輸入數據,它在不同的執行過程中也可能略有不同。在這種情況下追加的語義會非常混亂。
- 據我所知,追加是不可能有效地使用我知道的任何文件系統來實現的,同時保留了原子性和容錯保證(例如,即使在面對由於故障而重新執行捆綁)。
此行爲將記錄在github上顯示的SDK的下一個版本中。
相關問題
- 1. 谷歌雲數據流輸出到卡桑德拉
- 2. 生成使用谷歌雲數據流
- 3. 谷歌雲數據流Python - maxNumWorkers
- 4. 谷歌雲數據流上的Apache梁
- 5. NotSerializableException:org.apache.avro.io.DecoderFactory在谷歌雲數據流管道
- 6. 谷歌雲數據流:從動態文件名
- 7. 輸出附加到文件
- 8. 谷歌數據流VS阿帕奇星火流媒體(無論是在谷歌雲或與谷歌Dataproc)
- 9. 谷歌雲存儲文件附加操作
- 10. 輸出流緩衝輸出流附加
- 11. 如何谷歌分析數據導出到谷歌表或Excel文件?
- 12. 谷歌雲數據流從壓縮數據讀取數據
- 13. 谷歌雲流媒體數據流:錯誤而獲取側輸入
- 14. Ruby替換整個文件而不是附加到它
- 15. 谷歌雲數據流(Python):讀取和寫入.csv文件的函數?
- 16. 谷歌收取的數據轉移到谷歌雲存儲
- 17. 輸入/輸出錯誤寫入到谷歌雲存儲桶時
- 18. 替換或附加到鏈接
- 19. 如何從谷歌雲端自動導入數據到谷歌雲端
- 20. 如何將輸出附加到文件?
- 21. 附加subprocess.Popen輸出到文件?
- 22. 將PowerShell輸出附加到Excel文件
- 23. 將輸出附加到文件?
- 24. 複雜的加入谷歌數據流
- 25. 谷歌應用程序引擎/谷歌雲SQL - 檢測,如果它是MySQL或谷歌雲SQL
- 26. 優化谷歌應用程序腳本替換/附加值
- 27. 從谷歌數據工作室連接到谷歌雲數據與SQL Postgres
- 28. 谷歌pubsub到谷歌雲存儲
- 29. 將數據從谷歌雲存儲加載到BigQuery
- 30. 谷歌雲應用程序到數據庫加密,私人或需要保護?
這是否仍然正確@jkff?我很確定,如果它們共享相同數量的碎片,它們只會被覆蓋。否則,文件名是不同的,舊的文件保存 – Maximilian
是的,謝謝澄清。如果生成的文件與現有文件衝突,則現有文件將被覆蓋,但其他現有文件將保持不變。 – jkff