2017-01-19 24 views
1

我在Windows上使用MongoDB-Spark連接器。我在C:/ Spark中的C驅動器上安裝了Spark安裝程序。 我有在C驅動器使用下面的命令克隆MongoDB的火花連接器 -MongoDB Spark連接器不能在Windows上工作

GIT中克隆https://github.com/mongodb/mongo-spark.git

和蒙戈火花文件夾在C驅動器創建的。

當我正在按照星火bin文件夾命令 -

C:\spark\bin>spark-shell --conf "spark.mongodb.input.uri=mongodb://127.0.0.1/test.CoOrder?readPreference=primaryPreferred" --conf "spark.mongodb.output.uri=mongodb://127.0.0.1/test.CoOrder1" --packages org.mongodb.spark:mongo-spark-connector_2.11:1.1.0 

還有就是fllowing錯誤 -

「C:\火花\ BIN \火花shell2.cmd」 --conf 「spark.mongodb.input.uri」爲 未被識別爲內部或外部命令,可操作程序或 批處理文件。

如何將spark與MongoDB連接? 這裏我的火花沒有連接到mongo-spark文件夾。我可以如何鏈接火花和mongo-spark文件夾?

謝謝

+0

C:\ spark \ bin> spark-shell --help output?這可能是目前不支持將配置標誌傳遞給Windows。您可以將它們設置爲實際配置的一部分,或者將它們作爲選項傳遞給shell。 – Ross

回答

0

該錯誤通常與Windows上的Apache Spark安裝不完全有關。確保您可以首先執行自己的命令spark-shell以獲得Spark Scala shell。

請注意,您不需要克隆mongo-spark git存儲庫以使用MongoDB Spark連接器,spark-shell選項--packages org.mongodb.spark:mongo-spark-connector_將從maven central下載必要的jar。

另請參見MongoDB Spark Connector

相關問題