2013-01-03 89 views
1

我們正在使用的「傳統」(非PipelineAPI)版本映射精簡庫的:http://code.google.com/p/appengine-mapreduce/遺留映射精簡庫僅運行一個碎片

的問題是,我們永遠只能得到一個碎片的處理,即使是種類的有> 150,000個實體。我們嘗試了不同的shard_count配置,例如4,16,128,但總是隻有一個分片處理整個數據集,這非常緩慢。

我覺得我錯過了一個步驟(例如,創建索引或其他)。我們只在其他應用程序上成功地使用這個遺留庫,並按預期運行多個分片。

越過我的手指,有人知道一個非正式的答案。

感謝, Ĵ

回答

2

找到了!

此問題發生在Python中,並且僅在您爲模型覆蓋默認種類名稱時出現。

我已經把一個補丁,這對MapReduce的問題跟蹤:http://code.google.com/p/appengine-mapreduce/issues/detail?id=154

+0

我多麼希望他們並沒有消滅他們code.google.com庫。我不認爲這個問題是特定於非管道版本的。 – duozmo

+0

@JasonC,我可以看看補丁的其他地方嗎? thx – xiaolong

+0

這東西很舊。我認爲我的補丁已合併,因此它可能已包含在此回購中? https://github.com/GoogleCloudPlatform/appengine-mapreduce/tree/master/python/src/mapreduce – JasonC