Hadoop多次運行的啓動時間

Question

我有一個hadoop作業fat jar，它用於定期多次運行具有不同參數的作業。每個工作的啓動時間似乎都非常高。我的猜測是，每次都會將胖罐轉移到任務跟蹤器。我不想將作業jar手動添加到每個類路徑。是否有可能將整個作業jar轉移一次並分多次運行？

Answer 1

您提到的distributed cache無非是將您的JAR複製到所有任務路徑。

如果你的fat-jar沒有經常改變，你可以做什麼，把jar放到Hadoop的lib文件夾中。這些將包含在每個工作中。