星火如何從包裝罐子

我使用SBT組裝插件創建脂肪罐子喜歡類。我需要一些罐子，這些罐子是默認的hadoop/spark的一部分，但是有更新的版本。星火如何從包裝罐子

我想火花工人JVM喜歡打包在我最胖的jar文件，而不是默認的Hadoop /火花發行的版本。我怎樣才能做到這一點？

2017-09-18 Shubham Jain

你確定你有你的尤伯杯罐子老班？你想用舊版本替換Spark的哪部分？ –

對不起，我在提出問題時犯了一個錯誤。我需要更新的罐子，但火花帶有舊版本。現在，當我們提交一個spark工作時，jvm包含來自spark和hadoop的罐子，然後包含來自fat jar的罐子。但是，因爲這些罐子的舊版本已經從火花在內，我在我的脂肪罐子我加入新版本將被丟棄。我希望能夠使用這些更新的版本，並放棄來自默認spark/hadoop發行版的任何衝突的jar。簡而言之，我想採用後來在classpath中添加的jar。 –

Spark想要替換哪部分？我們在討論什麼罐子？ –

的解決方案是設置火花{驅動器，執行} .userClassPathFirst在配置。（ - conf選項），同時提交火花應用。這將首先包括來自超級罐子的罐子，然後從火花類路徑。

其他的解決方案是在SBT組件使用着色。並在我們的超級罐子裏放入罐子，以前的罐子裏裝着火花。

來源

2017-10-24 03:59:22

星火如何從包裝罐子

回答

相關問題