-libjars和-archives之間的混淆將副本數據分配給任務節點

Question

我有一個MapReduce作業，它使用第三方jar並將jar文件傳遞給任務節點我知道有兩種方法可以做到這一點，提供我的工作使用GenericOptionsParser hadoop jar -archive /custom.jar或hadoop jar -libjars /custom.jar。

我的問題是哪個是最好的選擇，因爲jar文件可以同時通過-archive和-libjars選項？

Answer 1

-libjar主要適用於裝運罐子，如文件所述。 -archive是一個通用的選項，並且該選項可以在任務節點上取消對它們進行歸檔（這可能不需要用於jar的使用，因爲您永遠不希望將jar解壓縮）。歸檔文件主要用於傳送任何其他文件並使其在任務節點上可用。