使用數千列的加載表

我有一個CSV數據文件，其中包含5000多個變量（列）。可以將它加載到BigQuery表中嗎？如果是這樣，Web UI導入嚮導對話框「指定模式」步驟將截斷模式規範字符串，最好的選擇是什麼。使用數千列的加載表

2013-03-28 Kulnor

只要你的行不是太大，5000列不應該有問題。什麼太大？ BigQuery documentation表示20MB是使用JSON時每行的最大大小，或者是1MB的CSV。

如果你有很多列，我建議使用bq.py命令行client來執行加載。

2013-03-28 23:04:03

謝謝，還會繼續調查。由於在交互式BigQuery導入嚮導UI（在指定模式步驟中）截斷了定義模式列（5000+冒號分隔名稱：類型）的字符串，所以太長。實際上我現在正嘗試創建表格並使用Apps腳本從雲端存儲導入。任何漂浮的例子？其他選擇我會感到舒適的是Java。但我會看看建議的Python腳本。 – Kulnor

如果你想使用java，這裏有一個java加載示例：http://stackoverflow.com/questions/10671266/load-data-from-google-cloud-storage-to-bigquery-using-java –

使用數千列的加載表

回答

相關問題