2015-11-04 64 views
1

我已經安裝了spark。而且,我可以進入我的spark版本中的bin文件夾,並運行./spark-shell並且它可以正常運行。我使用pyspark的路徑是什麼?

但是,由於某種原因,我無法啓動pyspark和任何子模塊。

因此,我進入bin並啓動./pyspark,它告訴我我的路徑不正確。

我對PYSPARK_PYTHON的當前路徑與我從中運行pyspark可執行腳本的位置相同。

PYSPARK_PYTHON的正確路徑是什麼?它不應該是導致火花版本的bin文件夾中名爲pyspark的可執行腳本的路徑嗎?

這就是我現在的路徑,但它告訴我env: <full PYSPARK_PYTHON path> no such file or directory。謝謝。

回答

2

PYSPARK_PYTHON的正確路徑是什麼?它不應該是導致spark版本bin文件夾中名爲pyspark的可執行腳本的路徑嗎?

不,不應該。它應該指向你希望用於Spark的Python可執行文件(例如,從which python輸出,如果你不想使用自定義的解釋器,只需忽略它; Spark將使用系統中第一個可用的Python解釋器PATH,

相關問題