無法在mac os中打開pyspark

Question

我已經通過pip安裝了pyspark，但無法打開它。它顯示以下錯誤。

用戶/ sonveer.narwaria /安納康達/ bin中/ pyspark：線24： /Users/sonveer.narwaria/anaconda/lib/python3.6/site-packages/pyspark/bin/load-spark-env .sh： 沒有這樣的文件或目錄 /Users/sonveer.narwaria/anaconda/bin/pyspark:line 77： /Users/sonveer.narwaria//Users/sonveer.narwaria/anaconda/lib/python3.6/site -packages/pyspark /斌/火花提交： 沒有這樣的文件或目錄 /Users/sonveer.narwaria/anaconda/bin/pyspark：行77：EXEC： /Users/sonveer.narwaria//Users/sonveer.narwaria /anaconda/lib/python3.6/site-packages/pyspark/bin/spark-submit： 無法執行：沒有這樣的文件或目錄

Answer 1

您應該下載完整的Spark分配，如here所述。 PySpark的PyPi安裝（即，通過pip，就像您一樣）僅適用於連接已經存在的Spark羣集; from docs：

Spark的Python包裝並不打算取代所有其他用例。此Python打包版本的Spark適用於與現有羣集（不管是Spark獨立，YARN還是Mesos）進行交互 - 但不包含設置自己的獨立Spark羣集所需的工具。您可以從Apache Spark下載頁面下載Spark的完整版本。

注意：如果您正在使用該用星火獨立的集羣必須 確保版本（包括次版本）匹配，或者您可以 經驗奇怪的錯誤