我正在尋找提交MapReduce作業的最簡單方法。Hadoop入門最簡單的方法
我正在尋找一個類似於複雜性(或簡單性)的平臺,例如Heroku(對於Ruby)或picloud.com就是映射。
這個想法是初學者可以提交MapReduce作業的地方,而不必處理設置Hadoop集羣的複雜性。彈性地圖縮小比例接近,但啓動時間設置實例是一個很大的關閉。
所以基本上我正在尋找一個已經完成Picloud相當於MapReduce的人。
我也看了下面的答案,但沒有發現什麼,我一直在尋找:this one和this one
感謝。
MapReduce作業在Hadoop集羣上運行,所以你需要一個集合安裝了Hadoop的機器。因此,想到的第一個問題是:1)您是否有內部硬件來建立自己的羣集,或者2)您是否正在尋找「雲」替代方案,根據您的使用情況,您按實例付費?聽起來就像你想要使用選項2一樣。設置hadoop集羣的啓動成本很高,如果你隨需應變,你可能會面臨與任何供應商一起使用的問題。如果你想保持實例,從長遠來看,啓動時間是無關緊要的。 –
10行whirr config可以在幾分鐘內安裝功能豐富的集羣。另一種選擇是下載預配置的虛擬機,您可以將其提交給您的作業。目前還不清楚你想用這個集羣做什麼。 POC?生產環境?雲或非雲。請更具體一些。 – rretzbach