在ubuntu上安裝Apache spark for pyspark

Question

什麼是在Ubuntu（16.04）中使用python（pyspark）訪問本地機器來安裝Apache spark 2.0的簡單步驟指南。我試圖搜索網絡，其中大部分都以一個或其他錯誤結束。

Answer 1

禮貌：https://www.santoshsrinivas.com/installing-apache-spark-on-ubuntu-16-04/

我在這裏寫我的腳步，因爲我看到幾個步驟會有所不同比預期（至少在Ubuntu 16.04）

所以這裏的步驟

第1步：

從http://spark.apache.org/downloads.html

第2步下載最新的預建版本： 解壓和移動星火

cd ~/Downloads/ 
tar xzvf spark-2.0.1-bin-hadoop2.7.tgz 
mv spark-2.0.1-bin-hadoop2.7/ spark 
sudo mv spark/ /usr/lib/ 

第3步：安裝 SBT

echo "deb https://dl.bintray.com/sbt/debian /" | sudo tee -a /etc/apt/sources.list.d/sbt.list 
sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv 2EE0EA64E40A89B84B2DF73499E82A75642AC823 
sudo apt-get update 
sudo apt-get install sbt 

注： - 你可能在這個步驟中的一些問題。所以請參考最後提供的鏈接。

步驟4： 確保安裝了Java。如果不是

sudo apt-add-repository ppa:webupd8team/java 
sudo apt-get update 
sudo apt-get install oracle-java8-installer 

步驟5： 配置火花

cd /usr/lib/spark/conf/ 
cp spark-env.sh.template spark-env.sh 
vi spark-env.sh 

並添加以下

JAVA_HOME=/usr/lib/jvm/java-8-oracle 
SPARK_WORKER_MEMORY=4g 

步驟6： 配置bash的文件。

使用以下命令打開的bashrc文件

vi ~/.bashrc(if you want to use vi editor) 
subl ~/.basrc(if you want to use sublime) 

複製下方中的bashrc文件

export JAVA_HOME=/usr/lib/jvm/java-8-oracle 
export SBT_HOME=/usr/share/sbt-launcher-packaging/bin/sbt-launch.jar 
export SPARK_HOME=/usr/lib/spark 
export PATH=$PATH:$JAVA_HOME/bin 
export PATH=$PATH:$SBT_HOME/bin:$SPARK_HOME/bin:$SPARK_HOME/sbin 

使用以下命令

source ~/.bashrc 

步驟7中啓動的bash文件： 立即試用

pyspark 

注：如果您遇到與SBT安裝（通常情況下爲Ubuntu 16.04），請嘗試以下鏈接

https://askubuntu.com/questions/771839/problem-installing-package-git-all/771889#771889