2013-07-22 52 views
0

我試圖將一些數據導入到我的應用程序,我「的n00b」,這就是我的第一個應用程序,所以任何意見是值得歡迎的,數據爲我的AppEngine(Python)的應用程序

的數據,我將上傳約350MB,其爲.csv,我tryed與批量上傳上傳,但我得到了錯誤:

無法下載樣的統計數據爲全種downloa 類統計由appser 週期性產生種類統計信息在dev_appserver上不可用。

我搜索了一下,我發現這是因爲應用程序沒有統計數據,我創建了模型並填充了一些實體,這是幾天前,應用程序沒有統計數據,我需要一個建議,將數據量上傳到應用程序的最佳方式是什麼?

如果是有用的,該數據是在這裏:

http://dados.gov.br/dataset/atendimentos-de-consumidores-nos-procons-sindec

感謝

回答

0

您必須使用autotmatic選項生成bulkloader.yaml。爲了進行自動生成,應用引擎使用數據存儲統計信息作爲參考。最初你沒有數據,因此沒有統計數據,所以你得到了與沒有數據統計相關的錯誤。

之後,當您將數據添加到數據存儲區時,數據統計數據可能仍爲空,因爲它通常需要長達24小時甚至數天才能更新數據存儲區統計信息。所以你的數據統計數據必須是空的,所以自動生成選項將不起作用。

您可以按照bulk upload documentation的步驟手動創建bulkloader.yaml,並根據給定的示例進行修改,以匹配您的數據存儲區域及其類型。使用這個手動生成的文件,你應該能夠繼續。

+0

謝謝Tony! 你知道這對於350MB左右的.csv是否可行?我做了一個簡單的測試,作爲一個.csv文件上傳到應用程序,並打開文件以逐行插入,大約需要1秒。對於每個5個實體,在這種趨勢下,每個實體需要花費20多個小時才能完成,而批量加載器更快?在開發環境中,速度要快10倍。 你知道任何其他替代方法來嚮應用程序提供數據嗎? []'s – user1926970

相關問題