我努力學習SparkCLR處理一個文本文件,並使用在其上運行火花SQL查詢Sample象下面這樣: [Sample]
internal static void MyDataFrameSample()
{
var schemaTagValues = new StructType(new List<StructField>
{
new S
我提交使用sparkclr-submit火花獨立集羣中使用 --deploy-mode cluster
的應用程序,但它拋出一個錯誤: No remote Sparkclr jar found; please specify one with --remote-sparkclr-jar 哪些遠程sparkclr-jar文件做我需要通過?
有人可以請這麼善良,並告訴我如何適應下面的代碼中的hdfs URI,以便他們對我的本地火花'羣集'工作? var lines = sparkContext.TextFile(@"hdfs://path/to/input.txt");
// some more code
wordCounts.SaveAsTextFile(@"hdfs://path/to/wordcount.txt");
我終於設法得到火花本地運行,並啓動它(?): spark-shell
我看到這個像開始,可以通過API來消耗服務器程序 - 不知道如果這是正確的?還是火花大師跑呢?結果是這樣的打印輸出: Spark context Web UI available at http://123.134.0.4:4040
Spark context available as 'sc' (master = loc
無連接可以作出,因爲目標機器積極地拒絕它127.0.0.1:some端口號 這裏是我的代碼,我只是在控制檯應用程序中寫道Programe.cs是 using System;
using System.Collections.Generic;
using System.Linq;
using System.Text;
using System.Threading.Tasks;
using