2015-04-30 42 views
2

當我輸入gzip壓縮的製表符分隔文件至BigQuery錯誤導入GZ文件至BigQuery

時遇到了一個錯誤我得到的輸出是:

[email protected]:/opt/batch/jobs# bq show -j bqjob_r5720e2f2267a5a5b_0000014d09571f27_1 
Job infra-bedrock-861:bqjob_r5720e2f2267a5a5b_0000014d09571f27_1 

    Job Type State  Start Time  Duration Bytes Processed 
---------- --------- ----------------- ---------- ----------------- 
    load  FAILURE 30 Apr 08:00:44 0:02:05 

Errors encountered during job execution. Bad character (ASCII 0) encountered: field starts with: <H:|\ufc0f\ufffd(> 
Failure details: 
- File: 1/Line:1/Field:1: Bad character (ASCII 0) encountered: 
    field starts with: <\ufff> 
- File: 1/Line:3/Field:1: Bad character (ASCII 0) encountered: 
    field starts with: <\u0475\ufffd=\ufffd\ufffd\u03d6> 
- File: 1/Line:4/Field:1: Bad character (ASCII 0) encountered: 
    field starts with: <-\ufffd\ufffdY\u049a\ufffd> 
- File: 1/Line:6/Field:1: Bad character (ASCII 0) encountered: 
    field starts with: <\u018e\ufffd\ufffd\ufffd\ufffd> 

我試過手動下載文件,解壓縮,然後再次上傳文件。未壓縮的文件可以被導入到bigquery中而沒有任何問題。

這看起來像在BigQuery中使用zip文件

+1

zip或gzip? BigQuery使用gzip,而不是zip –

+0

對於不一致的表述感到抱歉,但由於標題提示它是帶有擴展名.gz的gzip文件而不是zip文件 –

+0

您能共享示例文件嗎? –

回答

1

檢查作業配置的錯誤,你包括非gzip文件作爲第一個URI,在.../20150426/_SUCCESS結束。 BigQuery使用第一個文件來確定是否啓用壓縮。

假設這個文件是空的,你可以從你的加載請求中刪除它來解決這個問題。如果此文件中有數據,請附加「.gz」後綴或重新排序此文件,使其不在uri列表中。

+0

謝謝,從要導入的文件集中排除該文件解決了問題 –