Hadoop Map Reduce程序進行服務調用

我想對File的每一行進行Service調用。我們的源文件大於50 GB。迭代超過50GB的行可能需要更多時間。是否需要編寫任何內置功能或任何Map Reduce程序來爲每行調用服務。由於Map Reduce提供了一點平行化。是否有任何自定義工具已經構建了這一要求Hadoop Map Reduce程序進行服務調用

來源

2015-06-17 user145610

map-reduce的基本要求是任務應該並行運行，而不會對單個結果產生任何影響。如果你的服務電話獨立於其他東西，你可以使用map reduce。我認爲只有地圖就足夠了，照顧閱讀每一行並進行服務電話。但是，你也需要考慮地圖的另一面。你打算怎麼處理這個服務電話，並最終使用地圖。這部分決定了減速器的東西

來源

2015-06-17 21:47:52 Ramzy

謝謝Ramzy，我們將打電話給服務並獲得價值。我們需要用服務調用值來更新行，也就是說我們可以考慮添加另一個列，可以是同一個文件，也可以是不同的hdfs文件，爲此我們可以插入另一個配置單元內部表。基於閱讀行。 – user145610

好，接受，如果你滿意，或者你可以等待更多的答案 – Ramzy

Hadoop Map Reduce程序進行服務調用

回答

相關問題