2012-05-12 30 views
0

我收到「意外」錯誤。我嘗試了幾次,但仍然無法加載數據。有沒有其他的方式來加載數據?加載數據時出現意外錯誤

gs://log_data/r_mini_raw_20120510.txt.gzto567402616005:myv.may10c 
Errors: 
Unexpected. Please try again. 
Job ID: job_4bde60f1c13743ddabd3be2de9d6b511 
Start Time: 1:48pm, 12 May 2012 
End Time: 1:51pm, 12 May 2012 
Destination Table: 567402616005:myvserv.may10c 
Source URI: gs://log_data/r_mini_raw_20120510.txt.gz 
Delimiter:^
Max Bad Records: 30000 
Schema: 
zoneid: STRING 
creativeid: STRING 
ip: STRING 

更新

我使用的可以在這裏找到該文件:

http://saraswaticlasses.net/bad.csv.zip

bq load -F '^' --max_bad_record=30000 mycompany.abc bad.csv id:STRING,ceid:STRING,ip:STRING,cb:STRING,country:STRING,telco_name:STRING,date_time:STRING,secondary:STRING,mn:STRING,sf:STRING,uuid:STRING,ua:STRING,brand:STRING,model:STRING,os:STRING,osversion:STRING,sh:STRING,sw:STRING,proxy:STRING,ah:STRING,callback:STRING 

我越來越負載操作中的錯誤「的BigQuery錯誤:意外,請再試一次。「


同一文件從Ubuntu的作品,同時它不從CentOS的5.4工作(決賽) 是否要檢查的操作系統編碼需求?

回答

2

您上傳的文件有未終止的報價。你可以刪除該行並重試?我已經提交了一個內部的bigquery bug來更好地處理這種情況。

$grep '"' bad.csv 
3000^0^1.202.218.8^2f1f1491^CN^others^2012-05-02 20:35:00^^^^^"Mozilla/5.0^generic web browser^^^^^^^^ 

當我運行從我的工作站(Ubuntu的)的負荷,我得到了有關問題的行警告。請注意,如果您使用的文件較大,則不會看到此警告,而只會失敗。

$bq show --format=prettyjson -j job_e1d8636e225a4d5f81becf84019e7484 
... 
"status": { 
    "errors": [ 
    { 
    "location": "Line:29057/Field:12", 
    "message": "Missing close double quote (\") character: field starts with: <Mozilla/>", 
    "reason": "invalid" 
    } 
] 
1

我懷疑在輸入數據中有行或字段超過64 KB的限制。也許重新檢查你的數據的格式,檢查它是否正確壓縮,如果一切都失敗了,請嘗試導入未壓縮的數據。 (一種可能性是整個壓縮文件被解釋爲超過上述限制的單個行/字段)。

要回答您的原始問題,還有其他幾種導入數據的方法:您可以直接從您的本地機器使用命令行工具或Web UI,或者您可以使用原始API。但是,所有這些機制(包括您使用的Google Storage導入)都通過同一個CSV解析器彙集,因此它們都有可能以同樣的方式失敗。