星火提交到遠程紗

Question

我有兩個clodera hadoop集羣（prod和dev）和一臺客戶機。此客戶機配置爲prod羣集的網關節點。
從這個我用

spark-submit --master yarn job_script.py 

現在我想同樣的工作，從該客戶機提交給我的dev羣集我能提交一個火花的工作，我的督促集羣。
我嘗試使用

spark-submit --master yarn://<dev_resource_manager_ip>:8032 job_script.py 

但是這似乎並沒有工作，我的工作還是會被提交給集羣督促。我怎麼能告訴​​提交作業到開發集羣資源管理器，而不是產品集羣。

Answer 1

爲dev羣集創建包含所有Hadoop XML的目錄，並在​​之前覆蓋HADOOP_CONF_DIR環境變量。