apache-spark

0熱度

2回答

我有一個像下面的DataFrame。 +---+------------------------------------------+ |id |features | +---+------------------------------------------+ |1 |[6.629056, 0.26771536, 0.79063195,0.8923] | |2 |[1.

2熱度

1回答

忽略獨立羣集中通過REST作業提交進行的spark.master配置忽略

我在HA模式下有一個獨立的spark羣集（2個主控），並且有幾個工作人員在那裏註冊。我通過REST接口提交的火花與工作細節之後， { "sparkProperties": { "spark.app.name": "TeraGen3", "spark.default.parallelism": "40", "spark.executor.memory"

0熱度

1回答

如何將行轉換爲火花數據幀中的列，scala

有什麼方法可以將數據幀行轉置爲列。我有以下結構作爲輸入： val inputDF = Seq(("pid1","enc1", "bat"),("pid1","enc2", ""),("pid1","enc3", ""),("pid3","enc1", "cat"),("pid3","enc2", "")).toDF("MemberID", "EncounterID", "entry") in

0熱度

1回答

PySpark：使用標記生成器

映射詞我開始我的旅程PySpark和我都停留在一個點，例：我有這樣的代碼：（我把它從https://spark.apache.org/docs/2.1.0/ml-features.html） from pyspark.ml.feature import Tokenizer, RegexTokenizer from pyspark.sql.functions import col, udf

0熱度

1回答

怎樣一個角色串聯的列在Java的Apache的火花值

我想獲得一個特定的列的值表示costs 作爲 spark.select(col("col1"), col("col2"), col("costs")) .groupBy("col1") .agg(sum(col("costs"))); 輸出應該具有的附加列成本數據與$符號。

0熱度

1回答

Apache Spark計數記錄每個組的空值

0熱度

1回答

Neo4j：工作人員會話...崩潰。 Java堆空間OutOfMemoryError

Spark正在運行：這是一個非常簡單的程序，它已經從java和'parallelized'轉換爲scala（它不打算並行運行，而是一個實驗）學習spark和neo4j，b）看看我是否可以通過在更多節點上做更多工作的火花集羣上運行來獲得一些速度增益）。原因是大瓶頸是neo4j密碼腳本中的空間調用（一個withinDistance調用）。測試數據集非常小，52,000個節點和大小爲140 mb的數據

0熱度

1回答

Spark - 爲什麼ArrayBuffer似乎獲取尚未遍歷的元素

爲什麼MapPartition中的ArrayBuffer似乎具有尚未遍歷的元素？例如，我看這段代碼的方式，第一項應該有1個元素，第二個2，第三個3等等。第一個ArrayBuffer輸出可能有9個項目。這似乎意味着在第一次輸出之前有9次迭代，但收益計數清楚地表明這是第一次迭代。 val a = ArrayBuffer[Int]() for(i <- 1 to 9) a += i for(i <

0熱度

1回答

Apache Spark中的分層數據處理

我在Spark（v2.1.1）中有一個包含分層數據的3列（如下所示）的數據集。我的目標的目標是增量編號分配給基礎上，父子層次的每一行。從圖形上可以說，分層數據是一個樹的集合。根據下表，我已經有基於'Global_ID'分組的行。現在我想以的增量順序生成'Value'列，但是基於 'Parent'和'Child'列的數據層次結構。表格表示（數值是所需的輸出）： +-----------+--

0熱度

1回答

16個任務（1048.5 MB）的序列化結果的總大小大於spark.driver.maxResultSize（1024.0 MB）

當我將--conf spark.driver.maxResultSize=2050添加到我的命令中時，出現以下錯誤。 17/12/27 18:33:19 ERROR TransportResponseHandler: Still have 1 requests outstanding when connection from /XXX.XX.XXX.XX:36245 is closed 17