2016-12-13 42 views
0

我想使用Intellij IDE運行簡單的Apache Spark Python代碼,因此我創建了一個Python項目並編寫了Spark示例代碼。然後我去:如何將Intellij配置爲Spark Python IDE

RUN --->編輯配置... - >環境變量 並添加以下兩個變量:

SPARK_HOME=/usr/local/spark 
PYTHONPATH=/usr/local/spark/python:/usr/local/spark/python/lib/py4j-0.10.3-src.zip 

,我可以輕鬆運行我的星火Python和在第二個步驟,自動完成和確定星火的Python代碼,我在Spark_Home添加Python的目錄到我的項目類路徑:

文件--->項目結構--->類路徑--->添加+

,我將$SPARK_HOME/python添加到項目類路徑中。我有兩個問題:

)我的方式是在Intellij中配置Spark Python,一種標準方式?

(最重要):當我關閉Intellij並再次打開它時,我手動添加的類路徑被刪除(我的意思是我在第二步中做了什麼)並且每次添加它!有沒有辦法永久添加類路徑到Intellij中的項目中?

謝謝

回答

0

是的,這是標準的方法。通常,IDE需要運行每個代碼的一些依賴項,並且在這裏您瞭解IDE,它可以在其中找到運行PySpark代碼的依賴關係。您也可以使用PyCharm IDE。

關於你的第二個問題,你能告訴我們更多細節嗎?

+0

謝謝,我的第二個問題解決了。我的錯誤! – ahoora