2016-08-01 52 views
0

我基本上是一個.net程序員,我的任務是用SPARK和Cassandra分析數據。我正在尋找一個C#API來與SPARK合作,並且我發現了Mobius(因爲我不知道JAVA)。我開始從GitHub下載Mobius項目,並根據windows的構建,我遵循上述步驟並且無法使其工作。我有關於它的以下問題。在Windows環境下安裝Mobius面臨困難嗎?

1)我的Ubuntu機器上有一個DataStax企業版,我的Cassandra和SPARK可用(獨立版)。現在我想從我的.NET項目連接到SPARK,然後在Cassandra中處理數據。我能做到嗎?我想在調試模式下做到這一點?我只會使用SPARK-SQL,因爲我很喜歡SQL。

2)是否必須在Windows機器上安裝SOLR和SPARK以便Mobius工作?我能夠從Windows SPARK和Mobius連接到CASSANDRA(Ubuntu機器)嗎?

3)當我運行命令「sparkclr-submit.cmd調試」來獲得價值CSharpBackendPortNumber,我得到一個錯誤,「負載火花env.cmd」是失蹤。我在哪裏可以找到這個文件,我將如何獲得CSharpBackendPortNumber的值?是否有必要在我的Windows機器中使用SPARK?

回答

0
  1. 使用Windows客戶端連接到Linux中基於YARN的Spark羣集是Mobius支持/驗證的方案。我從來沒有嘗試過使用Mobius的Windows客戶端與獨立的基於Linux的Spark羣集。我建議使用Linux機器作爲Mobius客戶端,首先在Mobius中驗證基本功能。

  2. 莫比烏斯不需要Solr。您應該可以使用Mobius連接到部署在任何操作系統中的Cassandra。

  3. load-spark-env.cmd是Spark發行版的一部分。在運行之前需要設置SPARK_HOME環境變量sparkclr-submit.cmd