mobius

    1熱度

    1回答

    我正在嘗試使用現有的(獨立的)Spark集羣(在Ubuntu Linux上)與我通過python或scala愉快地交互的C#驅動程序。 我不清楚如何運行一個簡單的C#示例下載最新的Mobius發行版到Linux機器。我不清楚的是clr spark提交所需的兩個額外參數(超過了通常需要的參數)。首先,對於--exe,是否只需指向.exe文件或是否需要傳遞;其次,remote-spark-clr似乎堅

    0熱度

    1回答

    我按照指令here成功設置集羣。想知道是否可以通過API使用這種類型的集羣來調用Spark?哪裏可以找到Spark端點的詳細信息?如果前面提到的教程是死衚衕的,請問有誰能指出我正確的方向? 我最終的POC目標是在某個S3存儲桶中的平面文件(例如csv)中添加2列,並通過spark將第三列的結果值進行比較(這不是功課( - :) - 理想情況下使用Mobius因爲我[前] .net開發)。

    0熱度

    3回答

    我努力學習SparkCLR處理一個文本文件,並使用在其上運行火花SQL查詢Sample象下面這樣: [Sample] internal static void MyDataFrameSample() { var schemaTagValues = new StructType(new List<StructField> { new S

    0熱度

    1回答

    我基本上是一個.net程序員,我的任務是用SPARK和Cassandra分析數據。我正在尋找一個C#API來與SPARK合作,並且我發現了Mobius(因爲我不知道JAVA)。我開始從GitHub下載Mobius項目,並根據windows的構建,我遵循上述步驟並且無法使其工作。我有關於它的以下問題。 1)我的Ubuntu機器上有一個DataStax企業版,我的Cassandra和SPARK可用(獨

    0熱度

    2回答

    我正在研究一個將作爲模擬工具鏈數據集的OLAP引擎的系統。這些工具以XML格式生成結果。 對我來說,最簡單和最簡單的解決方案就是直接使用spark-xml直接使用python,Scala等來訪問XML文件。但問題是項目所有者想要使用C#,因爲這就是原始的模擬工具鏈是內置的。我知道C#有SparkCLR,但我不知道在C#中使用Spark-XML的好方法。 有沒有人有任何建議如何做到這一點?如果沒有,

    0熱度

    1回答

    我提交使用sparkclr-submit火花獨立集羣中使用 --deploy-mode cluster 的應用程序,但它拋出一個錯誤: No remote Sparkclr jar found; please specify one with --remote-sparkclr-jar 哪些遠程sparkclr-jar文件做我需要通過?

    0熱度

    1回答

    有人可以請這麼善良,並告訴我如何適應下面的代碼中的hdfs URI,以便他們對我的本地火花'羣集'工作? var lines = sparkContext.TextFile(@"hdfs://path/to/input.txt"); // some more code wordCounts.SaveAsTextFile(@"hdfs://path/to/wordcount.txt");

    0熱度

    1回答

    莫比烏斯1.6連接Oracle數據庫,使用下面的命令 C:\spark-clr_2.10-1.6.200\runtime\scripts\sparkclr-submit.cmd --master local --jars C:\oracle\lib\ojdbc7.jar --exe WinFormMobius.exe D:\Mobius\Debug [2016-09-29T08:31:24.3

    0熱度

    1回答

    我終於設法得到火花本地運行,並啓動它(?): spark-shell 我看到這個像開始,可以通過API來消耗服務器程序 - 不知道如果這是正確的?還是火花大師跑呢?結果是這樣的打印輸出: Spark context Web UI available at http://123.134.0.4:4040 Spark context available as 'sc' (master = loc

    2熱度

    2回答

    無連接可以作出,因爲目標機器積極地拒絕它127.0.0.1:some端口號 這裏是我的代碼,我只是在控制檯應用程序中寫道Programe.cs是 using System; using System.Collections.Generic; using System.Linq; using System.Text; using System.Threading.Tasks; using