谷歌應用程序引擎Bulkloader「意外線程死亡」

我想上傳一個moderetly大小的CSV文件中使用bulkloader功能，谷歌應用程序引擎，它似乎結果如下穿模的一些方式：谷歌應用程序引擎Bulkloader「意外線程死亡」

[INFO ] Logging to bulkloader-log-20110328.181531 
[INFO ] Throttling transfers: 
[INFO ] Bandwidth: 250000 bytes/second 
[INFO ] HTTP connections: 8/second 
[INFO ] Entities inserted/fetched/modified: 20/second 
[INFO ] Batch Size: 10 
[INFO ] Opening database: bulkloader-progress-20110328.181531.sql3 
[INFO ] Connecting to notmyrealappname.appspot.com/_ah/remote_api 
[INFO ] Starting import; maximum 10 entities per post 
...............................................................[INFO ] Unexpected thread death: WorkerThread-7 
[INFO ] An error occurred. Shutting down... 
.........[ERROR ] Error in WorkerThread-7: <urlopen error [Errno -2] Name or service not known> 

[INFO ] 1740 entites total, 0 previously transferred 
[INFO ] 720 entities (472133 bytes) transferred in 32.3 seconds 
[INFO ] Some entities not successfully transferred

它上傳了我想上傳的19k條目中的約700條，我想知道爲什麼它會失敗。我檢查了csv文件，看是否有其他逗號可能導致python csv閱讀器丟失，而非ascii字符已被刪除。

來源

2011-03-29 Voltaire

我能夠通過設置來解決此問題更高的批量限制（10K）和更高的rps限制（1K） – Voltaire 2011-03-29 02:01:43

您能否以幫助他人的方式回答自己的問題？如果你這樣做，你可以選擇你的正確答案。這可能看起來很奇怪，但在這種情況下，最好刪除它。 – Will 2011-03-29 16:49:49

起重批處理限制（的batch_size）和RPS限制（rps_limit）的作品，我用1000的批量大小和500的RPS限制：

appcfg.py upload_data --url= --application= --filename= --email= --batch_size=1000 --rps_limit=500

來源

2011-11-02 02:05:39

谷歌應用程序引擎Bulkloader「意外線程死亡」

回答

相關問題