來自dataframe的BigQuery表

我想用Google Datalab筆記本爲基因組數據創建一個bigQuery表，並達到列限制。該表由熊貓DataFrame創建。來自dataframe的BigQuery表

# to communicate with Google BigQuery 
from pandas.io import gbq 
gbq.to_gbq(df_pgp_input, 'pgp_orielresearch.pgp_PIK3CA_all_ml', 'speedy-emissary-167213', chunksize=10000, verbose=True)

GenericGBQException：原因：無效消息：字段太多：12427

來源

2017-06-28 eilalan

正如docs指出，在BigQuery的總共列了最大限制是10000

這爲什麼大多數情況下，如果您使用ARRAYs and STRUCTs來安排數據，則會更好，因爲您不會達到這些配額限制。

來源

2017-06-28 17:03:50

唉，添加STRUCT將無濟於事，因爲無論結構如何，10000個限制都在葉子字段的總數上。 –

嗨@MoshaPasumansky，我不知道OP是否爲每列創建了一個帶有STRUCTS的ARRAY，如果它能正常工作，通過一些關鍵字來聚合。對於我在這裏測試的內容，我可以非常容易地創建帶有100k STRUCT的ARRAY（而不是在結構中創建10k個鍵，爲每一列創建一個具有每列結構的數組）。 –

來自dataframe的BigQuery表

回答

相關問題