配置PySpark和Anaconda3這裏是我到目前爲止所採取的步驟:正確Linux上
- 我安裝Anaconda3和包含在目錄
$HOME/anaconda3/bin
一切。 - 我cd'ed到
$HOME/anaconda3/bin
並運行命令./conda install -c conda-forge pyspark
。它成功了。 - 我什麼也沒做。更具體地講,有沒有在我的
.bashrc
這裏設置變量的一些重要的細節:
- 我運行Hadoop的分佈式集羣上,所以有可能是我的主文件夾以外的其他目錄,我還沒有發現,但我可能需要。我也沒有管理員權限。
- Jupyter筆記本運行得很好。
這裏是我的目標:
目標。按照添加變量或配置某些文件的方式進行操作,以便可以在Jupyter Notebook上運行pyspark。
爲了實現這個目標,我需要在步驟3之後執行哪些其他步驟?
如果你想使用安裝在Jupyter筆記本內的Anaconda中的模塊,那麼你最好的選擇是在你的Anaconda上運行Jupyter本身。 –
我該怎麼做? –
我不太熟悉Jupyter肯定地說。這可能與確保Anaconda的bin /目錄位於路徑的開始處一樣簡單。它可能需要在Anaconda中安裝自己的Jupyter副本。還有其他的可能性。 –