Python3.4：PySpark/SparklingPandas/Spark

Question

我目前有一個熊貓DataFrame，但在聽說火花技術時，我想與pyspark或sparklingpandas一起工作。我不確定要下載哪個python spark版本以用於python 3.4，也不知道如何在Ubuntu 15.04上安裝它。

Answer 1

你不需要，只需下載火花預置的版本 https://spark.apache.org/downloads.html

一旦你下載的zip，解開它，只是斌/ pyspark，它會打開 交互式shell爲您與 -

玩

有關基本的詳細信息 - https://spark.apache.org/screencasts/1-first-steps-with-spark.html

對於基本的操作，即使你D下載hadoop預編譯版本，你不需要，但進一步的操作將會。 可以一試使用maven

去上面的鏈接建設的火花，請選擇以下設置並單擊紅色顯示下載標記鏈接

阿帕奇星火1.4支持Python 3 http://spark.apache.org/releases/spark-release-1-4-0.html

https://issues.apache.org/jira/browse/SPARK-4897