2013-07-02 71 views
0

我有一個map-reduce作業要在Amazon EMR上運行。我想擁有多達400個映射器和reducer,我想使用Medium或Large實例。我如何估計我需要的實例數量。如何估算Amazon EMR中的實例數量?

此外,如果一份工作在2分鐘內結束,我們假設,並且我運行另一份需要4分鐘的工作,我會收取2小時還是1小時?

+0

你是如何計算映射器/減速器的數量,您真的會得到與映射器= 400 =減速器什麼優勢呢?取決於您的處理需求。而我根本沒有得到你的問題的第二部分。 – Tariq

回答

0

我知道如果使用CLI工具創建Job Flow並添加步驟,那麼您可以在同一個作業流中一個接一個地執行兩個步驟,並且它們將在同一小時內計算。

我相信如果您使用GUI,那麼您無法重新使用作業流程,因此您可能會爲每項作業收取一小時的費用。我還沒有嘗試過,雖然這可能是錯的。

檢查這篇文章這是我得到的信息:

https://cwiki.apache.org/confluence/display/MAHOUT/Mahout+on+Elastic+MapReduce