什麼是apache toree的spark內核？

我有一個火花集羣，其中主要在192.168.0.60:7077什麼是apache toree的spark內核？

我曾經使用jupyter筆記本來製作一些pyspark腳本。我現在願意轉向scala。我不知道斯卡拉的世界。我正在嘗試使用Apache Toree。我安裝了它，下載了scala內核，並運行它以開啓scala筆記本。直到有一切似乎確定： -/

但我不能找到火花背景下，有錯誤的jupyter的服務器日誌：

[I 16:20:35.953 NotebookApp] Kernel started: afb8cb27-c0a2-425c-b8b1-3874329eb6a6 
Starting Spark Kernel with SPARK_HOME=/Users/romain/spark 
Error: Master must start with yarn, spark, mesos, or local 
Run with --help for usage help or --verbose for debug output 
[I 16:20:38.956 NotebookApp] KernelRestarter: restarting kernel (1/5)

由於我不知道斯卡拉，我不是這裏的問題確定嗎？這可能是：

我需要一個火花內核（根據https://github.com/ibm-et/spark-kernel/wiki/Getting-Started-with-the-Spark-Kernel）
我需要在服務器上增加一個選項（錯誤消息說「主人必須用紗線，火花，mesos開始，或地方」）
或別的東西： -/

我只是願意從蟒蛇階遷移，與我共度失去了剛剛在啓動第j幾個小時upyter IDE： -/

來源

2017-01-18 romain jouin

從來沒有使用jupyter，所以不知道＃1，但你的主人應該配置爲'spark：//192.168.0.60：7077'。 Spark有幾個支持的「集羣管理器」或部署模式 - 表明您使用的是「獨立」模式（例如，Spark主機已設置並正在端口7077上偵聽），您使用帶有「spark」協議的URL –

檢查[ apache toree的火花配置]（https://toree.apache.org/documentation/user/installation.html#configuring-spark）。你是否以同樣的方式安裝？ – prudenko

是的，我沒有遵循在線安裝文檔 –

它看起來像您在獨立部署模式下使用Spark。作爲Tzach在他的評論中建議，應該如下工作：

SPARK_OPTS='--master=spark://192.168.0.60:7077' jupyter notebook

SPARK_OPTS預計平常參數列表。

如果這沒有幫助，則需要檢查conf/spark-env.sh中的SPARK_MASTER_PORT值（7077是默認值）。

來源

2017-01-19 04:39:01

什麼是apache toree的spark內核？

回答

相關問題