在Scala 2.11的獨立模式下運行Spark？

我按照建立星火使用Scala 2.11的說明：在Scala 2.11的獨立模式下運行Spark？

mvn -Dscala-2.11 -DskipTests clean package

然後我按照指示啓動：

./sbin/start-master.sh

它失敗，兩條線在日誌文件：

Failed to find Spark assembly in /etc/spark-1.2.1/assembly/target/scala-2.10 
You need to build Spark before running this program.

顯然，它正在尋找一個scala-2.10版本，但我做了一個scala-2.11版本。我嘗試了明顯的-Dscala-2.11標誌，但是這並沒有改變任何東西。文檔沒有提及如何在scala 2.11的獨立模式下運行。

在此先感謝！

2015-04-15 clay

之前，你必須在運行該腳本：

開發/ change-version-to-2.11.sh

哪些應該更換2.11至2.10引用。

注意，這不一定會工作打算與非GNU的sed（如OS X）

2015-04-15 19:50:39 dpeacock

我跑這個腳本。它沒有幫助。我得到完全相同的錯誤引用程序集/目標/ scala-2.10。我在Spark 1.2.1（最好）和最新的Spark 1.3.0中都試過，只是爲了檢查。 – clay

你在linux機器上嗎？另一個選項是自己手動編輯腳本。 – dpeacock

是的，Linux。 CentOS虛擬機是特定的。我沒有得到任何錯誤。有什麼方法可以驗證sed命令是否成功？ – clay

回答