使用mapreduce處理文件

Question

我使用簡單的豬腳本讀取輸入的.txt文件，併爲每一行添加新的字段。

然後將輸出關係存儲到avro中。

與地方模式相比，在mapreduce模式下運行這樣的腳本有什麼好處嗎？

謝謝

Answer 1

在本地模式下，您正在本地機器上運行您的工作。使用mapreduce，你可以在集羣中運行你的工作（你的文件將被拆分成幾部分，並將在多臺機器上並行處理）。

所以，理論上，如果你的文件足夠大（或者有很多像這樣的文件需要處理），你可以用較少的時間用mapreduce模式完成你的工作。