將批量數據加載到具有不同分區數據的BigQuery分區表中

Question

我想將CSV數據加載到BigQuery分區表中。我的CSV文件包含不同的分區數據。如何將整個CSV文件加載到BigQuery分區表中以便特定的csv分區數據轉到BigQuery中的相應分區。

Answer 1

您可以載入整個CSV數據到臨時臨時表中，然後使用

bq query --destination_table=table$20170115 
    "SELECT * FROM temp WHERE part='2017-01-15'" 

類型的查詢，以適當的數據複製到自己的分區。

Answer 2

目前，BigQuery不支持基於數據領域的分區！
所以，顯然你不能加載整個CSV，並期望它被分區。
希望這將很快改變 - 你可以跟蹤各自feature request

與此同時，一些你的選擇是：

• 過程CSV文件的BigQuery外分裂一個文件到相應的日期（每一個CSV日期），然後一個接一個加載它們進入（各分區預先準備分區）表

或

• 負載整個CSV原樣至BigQuery然後過程/選擇一個接一個一天分成（仍然在預先準備的分區）表的各分區

取決於特定的情況下，一個或另一個選擇可以是對你更好 - 你決定。
從BigQuery成本的角度來看 - 第一個選項似乎對我來說便宜