如何在本地文件系統上運行map/reduce？

Question

如何在本地文件系統中可用的文件上運行Java映射/減少作業？例如，我有一個3節點的集羣，並且所有節點都在其本地文件系統中有一個日誌文件，例如/home/log/log.txt。

如何在這些文件上運行作業？在運行作業之前，我需要將它們合併並轉移到HDFS嗎？

謝謝。

Answer 1

您可以上傳一個文件夾下的所有單個文件，並將該文件夾路徑作爲您的地圖縮減程序的輸入路徑。您的Map Reduce在該文件夾中的所有文件上運行。