Apache Spark與pip安裝不起作用

我試圖在Python 11上安裝Apache Spark，並在7月11日發佈中使用了pip install python命令。然而，儘管這種成功安裝，我可以在Python shell中運行Apache Spark與pip安裝不起作用

from pyspark import SparkContext

，我不能運行

pyspark

或火花提交訪問pyspark外殼，

spark-submit.

兩者的錯誤是'找不到指定的路徑'。我在Windows上，懷疑我錯過了JAR文件的火花。 pip安裝不應該照顧這個嗎？

來源

2017-07-17 Almond Joy 50

請閱讀http://blog.prabeeshk.com/blog/2015/04/07/self-contained-pyspark-application/ –

pyspark和位置（應該是<spark install directory>\bin）從您的路徑中丟失。

您可以通過完全指定它們的位置，導航到它們的安裝位置並運行pyspark或將它們添加到您的系統路徑來運行它們。

來源

2017-07-17 16:54:56 timchap

謝謝！這部分工作，但遇到了另一個錯誤。我導航到Python27/Lib/site-packages/pyspark/bin，他們在那裏。但是，我如何得到以下消息： '無法找到Spark jars目錄。您需要在運行此程序之前構建Spark。看起來我需要使用Maven構建它，但我認爲pip安裝的全部要點是爲了避免這一點？ @timchap –

嘗試[這個問題]（https://stackoverflow.com/questions/27618843/why-does-spark-submit-and-spark-shell-fail-with-failed-to-find-spark-assembly-j ）。 – timchap

應該已經谷歌搜索第二個錯誤。謝謝你的幫助！ –

Apache Spark與pip安裝不起作用

回答

相關問題