5
是否有一種廉價的方式將大量數據導入到應用程序引擎中,而無需支付數據存儲區寫入操作?最便宜的方式來導入超過1000萬個實體到應用程序引擎
我估計,加載我的10m +實體需要花費100美元以上才能將我的數據導入應用引擎中。看起來像(考慮索引)每個實體正在採取10個寫操作,我可以把它減少到1個寫操作嗎?
由於
是否有一種廉價的方式將大量數據導入到應用程序引擎中,而無需支付數據存儲區寫入操作?最便宜的方式來導入超過1000萬個實體到應用程序引擎
我估計,加載我的10m +實體需要花費100美元以上才能將我的數據導入應用引擎中。看起來像(考慮索引)每個實體正在採取10個寫操作,我可以把它減少到1個寫操作嗎?
由於
應用引擎維護內置用於每個索引屬性的索引(即那些定義屬性時不具有索引=假作爲參數)。有關更多詳細信息,請參見http://code.google.com/appengine/articles/index_building.html。
如果有任何屬性不會出現在您的任何查詢中,請在定義屬性時指定indexed = False。這將爲您節省與這些屬性相關聯的索引寫入操作的成本,而這些操作不需要自動編入索引。
我會認爲它沒有導致任何賬單,因爲「應用程序引擎的API使用是免費的」,所以我不知道這個操作會導致計費。 +1讓我知道。關於GAE,他們說你不支付API使用費,即我認爲使用mapreduce結果計費,即使它使許多讀/寫。由於我對應用程序引擎定價沒有全面的瞭解,因此我可能會誤解。 – 2011-12-13 18:23:05
尼克感謝您的評論,我不使用地圖縮減來做我的導入。我的理解是地圖縮小隻能迭代現有的實體。我所做的是我已經上傳了所有要導入到任務隊列中的數據,並且一個servlet正在處理將任務中的數據轉儲到數據庫中的任務。雖然不是最有效的方式,但對我來說這是最簡單的。從我讀過的remote_api基本上做了同樣的事情,我找不到有關remote_api的任何定價信息。如果有人知道remote_api或map reduce是否便宜請讓我知道!謝謝 – mike 2011-12-13 20:11:12