遠程火花提交無法通過paramiko

我的火花程序是在遠程ubuntu系統。現在我想使用paramiko（一個用於SSH2連接的python包）從windows系統執行它。遠程火花提交無法通過paramiko

The program in windows for remote execution of spark program

的問題是，我可以在遠程Ubuntu系統執行Python程序，但不能執行星火計劃項目。有人知道爲什麼

2017-07-19 gddxz

你能ssh到該主機與你想要推出的火花應用程序相同的用戶？ – FaigB

是的，我可以從Windows主機SSH，並可以在主機上執行一般的Python程序，但不能執行火花程序。 – gddxz

很可能你應該設置火花環境變量。在要啓動您的火花應用使.bashrc文件火花條目

SPARK_HOME=*<path to your spark folder>* 

export PATH=$SPARK_HOME/bin:$PATH

然後通過命令源改變的.bashrc文件遠程實例

source ~/.bashrc

來源

2017-07-20 06:38:17 FaigB

這真的是路徑問題！所以我使用像'/home/username/.../spark/bin/spark-submit xxx.py'的整個路徑，它工作！但是我無法獲取環境變量，因此即使我正確設置了環境變量，'$ SPARK_HOME/bin/spark-submit xxx.py'之類的路徑也無法工作。當然這是另一個問題。再次感謝！ – gddxz

遠程火花提交無法通過paramiko

回答

相關問題