使用s3a獲取驅動程序和執行程序中的火花瓶

Question

我想使用驅動程序/執行程序模型在AWS上使用Spark。似乎沒有辦法設置驅動程序類路徑，以便它可以使用hadoop-aws jar和aws-sdk jar來訪問s3。我想從s3拉我的工作罐子。

好像我需要將所有這些類添加到火花組裝jar，或者我需要修改spark-class腳本以手動將這些jar添加到類路徑中？

有沒有更少的侵入方法，即任何方式只是在配置的某個地方指定這個？

我正在運行1.6.1和hadoop 2.4，但我希望我也可以使用2.6（同樣的問題）。

Answer 1

不知道如果我理解正確的，但你應該能夠設置spark.driver.extraClassPath和/或根據docs

恕我直言spark.driver.extraLibraryPath屬性，同樣的事情應該是通過指定--jars命令行選項可實現當使用​​時，請參閱​​的help output。