在單節點集羣上使用分佈式緩存和FileReader

Question

需要多個節點集羣或單個節點集羣才能使用分佈式緩存。 FileReader是否可以通過提供文件路徑直接打開存儲在HDFS中的文件。

Answer 1

它實際上不是必須的。使用分佈式緩存的主要目的是使資源可用於在整個集羣中的所有節點上運行的所有映射器或簡化器，這在單臺機器上沒有太大意義。在單個節點的hadoop集羣上，你可以在你的mapreduce代碼中擁有一個全局變量，這可以做到這一點。