3
- 如何控制hadoop分佈式系統中不同從站的文件分配?
- 是否可以同時在hadoop中寫入2個或更多文件作爲map reduce任務?
我是hadoop的新手,對我真的很有幫助。 如果你知道請回答。如何控制hadoop分佈式系統中不同從站的文件分配?
我是hadoop的新手,對我真的很有幫助。 如果你知道請回答。如何控制hadoop分佈式系統中不同從站的文件分配?
這是我送給你的#1的答案:
你不能直接控制地方map任務走在集羣或者文件在集羣被髮送。 JobTracker和NameNode分別處理這些。 JobTracker將嘗試將地圖任務發送爲本地數據以提高性能。 (我猜你的意思你的問題,如果我沒有得到它的權利,請詳細說明)
這是我送給你的#2的答案:
MultipleOutputs
是你在找什麼當你想從一個reducer寫入多個文件時。
無法在沒有或不在hdfs之外的運行節點中寫入輸出文件。 – matrix06neo