2017-02-17 36 views

回答

3

如果使用雲存儲是一種選擇,你可以把他們都在一個共同的前綴水桶和例如使用通配符gs://my_bucket/some/path/files*可快速指定具有多個輸入的單個加載作業。

+0

感謝。這樣可行。如果文件在子文件夾內怎麼辦?我們可以設置遞歸加載子文件夾數據的選項嗎? – user1311888

+0

GCS在這方面不是文件系統,路徑實際上只是二進制對象的關鍵。換句話說,只要你的字符串前綴只匹配你想要的CSV文件,那麼無論在gs://路徑中有多少斜槓。 – shollyman

+0

是否有必要通過谷歌雲存儲上傳大量文件(數千個文件)?我只看到使用GCS的答案,但這是非常間接的,也許更昂貴。 – Jeff

相關問題