Apache Spark：必備問題

Question

我即將在Ubuntu 16.04 LTS上安裝Apache Spark 2.1.0。我的目標是一個獨立的集羣，使用Hadoop，Scala和Python（2.7是有效的）

雖然下載我得到的選擇：預製Hadoop 2.7和更高版本（文件是spark-2.1.0-bin-hadoop2.7 .tgz）

• 此包是否實際包含HADOOP 2.7還是需要單獨安裝（首先我假設）？

• 我安裝了Java JRE 8（需要其他任務）。隨着JDK 8也似乎是一個預先必要爲好，我也做了一個「sudo易於安裝默認JDK」，這的確顯示了安裝：

默認JDK/xenial，現在2：1.8 -56ubuntu2 AMD64 [安裝]

檢查Java的版本卻沒有顯示JDK：

Java版本 「1.8.0_121」 的Java（TM）SE運行時環境（建1.8.0_121-B13） Java HotSpot（TM）64位服務器虛擬機（版本25.121-b13，混合模式）

這對安裝是否足夠？爲什麼它不顯示JDK？

• 我想使用Scala 2.12.1。這個版本是否適用於Spark2.1/Hadoop 2.7組合，還是另一個更適合的版本？

• 斯卡拉SBT包是否也需要？

一直往返試圖讓一切正常，但我堅持在這一點上。

希望有人能提供一些線索:)

Answer 1

你需要安裝Hadoop的2.7更無論你正在安裝。

Java版本沒問題。

上述配置應該可以與scala 2.12.1一起使用。