0
我已經使用ambari在spark-env.sh中設置了PYSPARK_PYTHON = python3，並且當我在命令行中嘗試'pyspark'時，它使用python 3.4.3 。但是，當我使用yarn cluster模式提交作業時，它使用python 2.7.9運行。我如何使它使用python3？Pyspark在紗線集羣模式下不使用python3，即使使用PYSPARK_PYTHON = python3
A
回答
0
你需要給像python3的完整路徑：
subprocess.call(['export PYSPARK_PYTHON=/usr/local/bin/python2.7'],shell=True)
相關問題
- 1. 使用紗線集羣
- 2. 使用virtualenv以紗線/火花集羣模式運行python
- 3. Spark Pi集羣模式下使用紗線的示例：丟失關聯
- 4. 使用python3 requests.Session（）
- 5. 使用Python3 GExiv2
- 6. 在vim_configurable.customize中使用python3覆蓋python3
- 7. 即使安裝紗線也找不到模塊'紗線'
- 8. 故障使用python3
- 9. 無法使用Python3
- 10. 如何使用python3
- 11. 對Python3使用urllib2
- 12. 在python3下使用pytables失敗
- 13. 如何使nosetests使用python3
- 14. pygame的使用Python3在Mac
- 15. ploblem使用CSV在python3
- 16. 在Python3中使用re2
- 17. 如何使用* ARGS在Python3
- 18. 火花提交--proxy用戶不紗線集羣模式下工作
- 19. 在紗線集羣上對管道使用addFile
- 20. 紗線和集羣模式下的打印火花命令
- 21. 在Spark 2.1.0上使用python3在齊柏林飛艇上使用pyspark
- 22. 如何在python3中使用re模塊替換模式
- 23. Python3 - tkinter導入和使用模塊
- 24. 如何使用格式化的Python3
- 25. 創建和使用python3
- 26. Scrapy使用python3目錄（Ubuntu）
- 27. python3正確的argv使用
- 28. Python3.x - 使用字典
- 29. Python3使用格萊德
- 30. python3默認編碼使用
我已經設置spark-env.sh與「出口PYSPARK_PYTHON =的/ usr/bin中/ python3.4 出口PYSPARK_DRIVER_PYTHON =的/ usr/bin中/python3.4「，但它仍然是一樣的。使用python2 – mankand007