複製大BigQuery表格到谷歌雲存儲和隨後的本地下載

我的目標是在本地保存一個BigQuery資料表，以便能夠進行一些分析。爲了在本地保存，我嘗試將它作爲csv文件導出到Google雲端存儲。唉數據集太大，將其移動作爲一個文件，因此它被分裂成許多不同的文件，看起來像這樣：複製大BigQuery表格到谷歌雲存儲和隨後的本地下載

exampledata.csv000000000000 
exampledata.csv000000000001 
...

有沒有辦法把它們重新結合在一起在谷歌雲存儲的方式？甚至可能將格式更改爲csv？

我的方法是下載並嘗試手動更改。點擊它不起作用，因爲它會將它保存爲BIN.file並且非常耗時。此外，我不知道如何將它們組裝在一起。

我也試圖通過gsutil命令得到它，我能夠將它們保存在我的機器上，但作爲壓縮文件。當用WinRar解壓時，它給了我exampleData.out文件，我不知道該怎麼做。此外，我很無能如何把它們放回到一個文件中。

如何將表格作爲一個文件並作爲csv？

我在Ubuntu運行使用的計算機，但我需要有一個谷歌虛擬機的數據，使用Windows Server 2012

是格式化爲CSV的exampledata文件？ –

@ DarylWenman-Bateson我用7zip解壓縮了它們。當用記事本打開時，它似乎有一個csv.file結構。 –

你很可能會在你的特定問題上得到很少的答案。但請記住 - 您的問題背後的動機（即「本地保存BigQuery表以便能夠執行某些分析」）沒有多大意義！您可能需要重新考慮將BigQuery中的數據存儲在BigQuery中但試圖在本地進行分析的方法。 –

嘗試使用下面的所有文件合併成一個從車窗命令提示符

copy *.cs* merged.csv

2016-07-07 15:05:00

建議您將文件保存爲文件.GZIP，那麼你就可以從谷歌雲輕鬆地下載它作爲BIN文件。如果你BigQuery中的這些splited文件如下：導出表 - > csv格式，壓縮爲GZIP，URI：FILE_NAME * 然後，你可以通過執行步驟如下結合他們回來：

在Windows中：

在末尾添加.ZIP所有這些文件。
使用7-Zip解壓縮第一.zip文件，名稱爲」 ... 000000000000" ，那麼它會自動檢測所有的休息.zip文件。這就像解壓縮分割的.zip文件的正常方式一樣。

在Ubuntu中：

我沒有解壓文件下面，我可以在網上找到的方法。如果我知道答案，會更新答案。

2017-04-20 15:22:27 zhihong

回答