2013-06-25 40 views
0

我想將一個CSV文件導入到我的BigQuery表中。此導入已過去,但現在我收到以下錯誤消息:BigQuery拋出導入錯誤,沒有提供信息

{「message」:「遇到太多錯誤。限制爲:」,「reason」:「invalid」}

當我運行調試器時,所有其他字段都爲空。

這是...沒有幫助。我並不知道數據本身存在任何問題,因爲導出/導入數據沒有改變。奇怪的是,當試圖使用以前的作業模板並通過Web控制檯運行時,Web控制檯本身會掛起,並且一旦我點擊藍色的「提交」按鈕,對話框就不會消失。

職位編號:job_e0faf560d3df424ea74519e1b24a23f7

我生成CSV並將其導出到谷歌雲存儲。我正在使用AppEngine並切換到新的Google Cloud Storage Client Library。我已經使用GcsFileOptions.getDefaultInstance()上傳了該文件,並構建了自己的GSFileOptions,將內容類型設置爲CSV。

失敗後,我從Google Cloud Storage下載了該文件,更改了編碼(嘗試過的ASCII和UTF8)並仍然獲得了相同的結果。

我正在使用AppEngine 1.8.1.1和BigQuery庫(google-api-services-bigquery-v2-rev89-1.15.0-rc)。這是以前的預期,所以我不知道發生了什麼。歡迎任何建議。謝謝!

回答

3

bigquery作業有兩個錯誤字段。首先是錯誤結果,它告訴你是否(以及爲什麼)作業失敗。由於在導入過程中遇到太多輸入錯誤,導致作業失敗的錯誤結果。

第二個字段是錯誤流,它告訴您在作業期間遇到的錯誤。例如,如果您設置了maxBadRecords字段,則可能會在錯誤流中出現錯誤,但實際的作業可能會成功。

我在BigQuery日誌中查找了你的工作,並能夠發現錯誤流顯示第6253行的錯誤:「列數太少:預計有80列,但有1列(s)。附加幫助:http://goo.gl/RWuPQ

您能否驗證第6253行是否正確?

- Jordan Tigani/BigQuery工程師

+1

約旦,感謝您檢查日誌。它看起來像文件末尾有一個額外的回車!我會糾正這個問題,看看它是否能解決問題。 有沒有辦法在返回中得到錯誤信息?這將是非常有用的,並調試這些問題。 謝謝,E –

+2

嘿喬丹!這解決了問題。我還注意到我沒有打印出所有的ErrorProtobuffs,所以這就是爲什麼我看不到錯誤。希望下次能幫到別人。謝謝! –

1

今天有一個與App Engine的一些普遍問題: 「我們仍在調查與谷歌應用程序引擎,主要是(但不限於)數據存儲延遲的問題,我們將在接下來的兩個小時之內提供另一種狀態更新「。 https://groups.google.com/forum/#!topic/google-appengine-downtime-notify/1pJZnl4EMKk

+0

我的問題不在導出步驟。這很奇妙。我的問題在於導入BigQuery步驟。你認爲這兩件事有關係嗎?謝謝! –

相關問題