H2o包未找到斯卡拉蘇打水

Question

我想運行蘇打水在我的本地實例的Spark 2.1.0。 我遵循H2o關於噴射水的文檔。但是，當我嘗試執行

sparkling-shell.cmd 

我收到以下錯誤：

The filename, directory name, or volume label syntax is incorrect.

我看着批處理文件，我得到當執行下面的命令此錯誤：

C:\Users\Mansoor\libs\spark\spark-2.1.0/bin/spark-shell.cmd --jars C:\Users\Mansoor\libs\H2o\sparkling\bin\../assembly/build/libs/sparkling-water-assembly_2.11-2.1.0-all.jar --driver-memory 3G --conf spark.driver.extraJavaOptions="-XX:MaxPermSize=384m" 

當我刪除--conf spark.driver.extraJavaOptions="-XX:MaxPermSize=384m"時，Spark啓動，但我無法導入H2o的軟件包。

import org.apache.spark.h2o._ 

error: object h2o is not a member of package org.apache.spark

我試圖盡我所能，但無法來解決這個問題。有人可以幫助我嗎？由於

Answer 1

問題是spark-shell命令，同時提交罐子。解決方法是修改火花defaults.conf

添加spark.driver.extraClassPath和spark.executor.extraClassPath參數火花defaults.conf文件，如下所示：

spark.driver.extraClassPath \path\to\jar\sparkling-water-assembly_version>-all.jar 

spark.executor.extraClassPath \path\to\jar\sparkling-water-assembly_version>-all.jar 

而且從波光粼粼，shell2.cmd刪除--jars \path\to\jar\sparkling-water-assembly_version>-all.jar

Answer 2

請設法糾正您的路徑：

C:\Users\Mansoor\libs\spark\spark-2.1.0/bin/spark-shell.cmd --jars C:\Users\Mansoor\libs\H2o\sparkling\bin\..\assembly\build\libs\sparkling-water-assembly_2.11-2.1.0-all.jar --driver-memory 3G --conf spark.driver.extraJavaOptions="-XX:MaxPermSize=384m"

也有大約在的Windows RSparkling，它可以包含不同的故障排除技巧文檔頁面... https://github.com/h2oai/sales-engineering/tree/master/megan/RSparklingAndWindows