本地火花簇的sparkcontext

有人可以請這麼善良，並告訴我如何適應下面的代碼中的hdfs URI，以便他們對我的本地火花'羣集'工作？本地火花簇的sparkcontext

var lines = sparkContext.TextFile(@"hdfs://path/to/input.txt"); 
// some more code 
wordCounts.SaveAsTextFile(@"hdfs://path/to/wordcount.txt");

2017-04-15 cs0815

Spark本地模式不涉及集羣。你在試圖運行基於Mobius的Spark應用程序的機器上運行羣集（獨立，YARN還是Mesos）？ – skaarthik

當然沒有。這就是爲什麼我使用引號。我只想在Visual Studio中開發一個控制檯應用程序來對抗我的本地火花，然後再部署它。是的，我試圖運行基於Mobius的Spark應用程序 – cs0815

你可以只定義路徑位置的配置參數將獲得sparkcontext設置，以便無需添加HDFS就像下面要細紗線模式

var lines = sparkContext.TextFile("/path/to/input.txt"); 
// some more code 
wordCounts.SaveAsTextFile("/path/to/wordcount.txt");

運行的應用程序，或者你可以明確地定義HDFS位置如下

val lines = sparkContext.textFile("hdfs://namenode:port/path/to/input.txt")

還可以定義分區的數量是可選的

var lines = sparkContext.TextFile("/path/to/input.txt",[number of partitions]);

2017-04-15 20:46:04 Nitin

謝謝。（1）如何參數化SparkContext以針對本地火花運行？（2）如果我的文件在這裏，代碼是什麼c：\ war_and_peace.txt？ – cs0815

回答