不包括從火花構建的hadoop

Question

我正在修改hadoop內的hdfs模塊，並希望在運行時看到反射，但我仍然看到本機hadoop行爲。我檢查並看到Spark正在構建一個非常胖的jar文件，其中包含所有hadoop類（使用在maven中定義的hadoop配置文件），並將其部署到所有worker上。我也試過bigtop-dist，爲了排除hadoop類，但看不到效果。

是否有可能輕鬆地做這樣的事情，例如通過在maven文件中進行小小的修改？

Answer 1

我相信你正在尋找在maven工件上的provided作用域。它允許您排除包裝中的某些類，同時允許您針對它們進行編譯（期望您的運行時環境將以正確的相應版本提供它們）。進一步討論見here和here。