使用Spark --jars選項向集羣提交PySpark作業

Question

我希望在提交PySpark作業時能夠指定--jars PySpark提交選項。但是這個選項不被支持。有其他選擇嗎？

Answer 1

謝謝你提出這個問題，看來你發現了一個錯誤，我們還沒有給出必要的標誌;其目的確實是在控制檯GUI和gcloud beta dataproc jobs submit pyspark中提供一個--jars選項，我們希望能夠在幾周內在下一個次要版本中部署修補程序。同時，您可以嘗試在主節點和/或您的工作節點上簡單地將任何jarfile依賴關係轉儲到/usr/lib/hadoop/lib/，可能使用initialization actions在集羣部署時自動下載這些jar文件，然後在Spark（和Hadoop）作業的類路徑會自動生成。