sparkcore

1熱度

1回答

groupByKey是否會導致整個網絡中所有值的混洗，即使它們已經位於一個分區內，當我們在sparkSQL中通過操作進行分組時，它使用groupbykey還是使用aggregateByKey來獲得性能？

1熱度

1回答

我是Spark的新手。我有以下RDD [數組[（字符串，字符串，字符串）]] val r1 = sc.parallelize(Array(Array(("123","456","789"),("AAA","BBB","CCC")),Array(("DDD","EEE","FFF"),("E1","E2","E3")))) 我想合併數組中它像 Array((123,456,789), (AAA,

0熱度

2回答

將啓動wholetextfiles挑選部分創建的文件？

我正在使用Spark wholeTextFiles API從源文件夾讀取文件並將其加載到配置單元表。文件從遠程服務器到達源文件夾。文件的大小像1GB-3GB一樣大。這些文件的SCP需要很長時間。如果我啓動spark工作並且文件正在被SCPd轉到源文件夾並且進程已經到了一半，會不會啓動文件？如果火花在半途中選取文件，這將是一個問題，因爲它會忽略文件的其餘內容。

0熱度

2回答

如何計算當月的星期日？

我做了一個LED掛鐘&基於arduino a日曆，現在我想修改它添加一個變量來自動調整DST的偏移量。我已經每天輪詢互聯網時間服務器2x以確保準確性，但時間服務器通常不提供DST信息。變化發生在三月的第二個星期日和十一月的第一個星期日。（https://www.nist.gov/pml/time-and-frequency-division/popular-links/daylight-savi

0熱度

2回答

星火提交失敗，主紗，無差錯的要求未能在scala.Predef

我的星火作業與下面的異常失敗，我不能夠figureout什麼要求是缺少這導致作業失敗： Exception in thread "main" java.lang.IllegalArgumentException: requirement failed at scala.Predef$.require(Predef.scala:221) at org.apache.spark

0熱度

1回答

如何在火花預處理中刪除文本中的停用詞

我有一個要求，在運行算法前預處理火花中的數據其中一個預處理邏輯是從文本中刪除停用詞。我試着用Spark StopWordsRemover。 StopWordsRemover要求輸入和輸出應該是Array [String]。運行程序後，最終的列輸出顯示爲字符串集合，我會需要一個純字符串。我的代碼如下。 val tokenizer: RegexTokenizer = new RegexTokeni

1熱度

1回答

如何從C＃閃爍火花核心＃

我想從C＃應用程序閃爍火花核心。我不斷收到{ error: Nothing to do? }的迴應。下面是我的代碼 var url = string.Format("https://api.spark.io/v1/devices/{0}", sparkDeviceID); using (var client = new HttpClient()) { client.Default

0熱度

1回答

無法設置在配置火花提交

我想用下面設置的應用程序JAR主網址： val spark = SparkSession .builder() .master("spark://master:7077") .appName("TestApp") .config("spark.sql.warehouse.dir", "/tmp/spark-warehouse") .getOrCre

1熱度

1回答

NoClassDefFoundError：spark-cassandra-connector中的org/apache/spark/sql/DataFrame

我試圖將spark-cassandra-connector從1.4升級到1.5。一切似乎都不錯，但，當我運行測試用例然後卡住的過程之間和記錄一些錯誤消息說： Exception in thread "dag-scheduler-event-loop" java.lang.NoClassDefFoundError: org/apache/spark/sql/DataFrame 我的POM文件看起來

1熱度

1回答

異常線程「main」 java.lang.NoSuchMethodError：scala.Predef $ .refArrayOps（

我是新來的Scala並獲得以下錯誤代碼INTELLJ任何一個可以請幫助解決它 import org.apache.spark.{SparkContext, SparkConf} object wordcount { def main(args: Array[String]) { val conf = new SparkConf() .set