上傳CSV到BigQuery失敗

Question

我在3個月內使用了bigquery上傳系統，每過一小時我就會將數據推送到bigquery，並且它一直在正常工作。但從昨天開始，我所有的上傳都失敗了。在bigquery控制檯出現錯誤提示「列太少：預計11列（s）但有9列（s）」，第九個字段有一個新行字符，它在雙引號內。這一直在過去3個月工作，並從昨天失敗。任何幫助傢伙？

Answer 1

昨天我們開始執行不允許引用的換行符，除非allowQuotedNewlines標誌被傳遞。 如果您使用的是bq工具，則可以添加--allow_quoted_newlines標誌。如果你使用java，你可以設置這個here。該旗幟記錄在here。

默認情況下禁止引用換行符允許我們更加高效地導入csv文件，因爲我們可以將它們拆分爲多個並行並行導入。這轉化爲更快的進口，並允許我們擴大到更大的進口。