Hadoop Libjars的位置

Question

我正在羣集上運行hadoop作業，並在運行hadoop作業時使用-libjars選項傳遞一些jar。我不知道在哪裏可以找到羣集上的這些罐子。還有一件事，這些罐子是否從本地機器複製到集羣。我在哪裏可以找到關於集羣

Answer 1

這些罐子按照Hadoop - The Definitive Guide

複製從本地文件系統指定的JAR文件（或者，如果 指定一個方案中的任何文件系統），以共享文件系統bythe JobTracker的使用（通常是HDFS），並將它們添加到MapReduce任務的類路徑中。此選項是運輸作業所依賴的JAR文件的有用方法。

因此，將指定的文件從本地文件系統複製到HDFS，然後複製到類路徑中的映射器/縮減器節點。另外，這些文件被複製爲mapreduce.client.submit.file.replication次數，默認值爲10.複製3次以上的原因是文件必須分發到所有需要的節點。