如何在使用亞馬遜彈性地圖縮小服務時在hadoop中包含第三方庫

Question

我必須使用稱爲weka的第三方庫進行一些數據挖掘任務。但我不知道如何在amazon彈性mapreduce服務中包含所需的jar文件。

有沒有人有處理這種情況的經驗？

Answer 1

查看這些文章（1,2），在Hadoop作業中包含第三方庫。

Answer 2

一個簡單的解決方案是將你的依賴關係放入你的jar文件中，映射器和reducer。

如果您的建築物與Maven建議使用Maven Assembly Plugin插件打包一個具有所有依賴關係的jar。