rdd

0熱度

2回答

我有RDD [（中間體，數組[雙]）] 例如： 1, Array(2.0,5.0,6.3) 5, Array(1.0,3.3,9.5) 1, Array(5.0,4.2,3.1) 2, Array(9.6,6.3,2.3) 1, Array(8.5,2.5,1.2) 5, Array(6.0,2.4,7.8) 2, Array(7.8,9.1,4.2) 我必須收集第1列的不同值並安

0熱度

2回答

火花數據幀/ RDD無法通過計數另一列的

我有一個火花RDD內容創建新的列（或數據幀 - 轉換到要麼是沒有問題的），其具有以下的列（例如，對於每個結構）： res248: org.apache.spark.rdd.RDD[(String, Array[String])] = MapPartitionsRDD[1004] at map at <console>:246 org.apache.spark.sql.DataFrame = [id

0熱度

1回答

從Python中的一對RDD獲取值

如何從一對RDD中獲取value1和value2：[('key', (value1, value2))]。

0熱度

1回答

toString數據Pyspark Dataframe

我想在列上做一些正則表達式操作。爲了做到這一點我有如下基本小寫操作說明： df.select('name').map(lambda x: x.lower()) 這裏df是一個數據框，當我撥打對方付費電話（）操作時的動作拋出異常。 Ques 1: After map(or reduce) operation, every DataFrame converts to a Pipelined RDD

1熱度

1回答

pyspark - 閱讀與自定義分隔符文件RDD？

我在pyspark新手，我試圖讀取和RDD行合併成一排。假設我有以下的文本文件： A1 B1 C1 A2 B2 C2 D3 A3 X1 YY1 DELIMITER_ROW Z1 B1 C1 Z4 X2 V2 XC2 D3 DELIMITER_ROW T1 R1 M2 MB2 NC2 S3 BB1 AQ3 Q1 P1" 現在，我想所有的行合併出現在成一排的每個部分之間（DE

0熱度

2回答

如何使用Python從RDD獲取特定記錄

我正在使用Python在RDD中工作。我想從這個RDD (8, 23, 4.0) (50, 21, 3.0) (5, 48, 3.0) (5, 85, 3.0) (40, 17, 3.0) (3, 62, 3.0) (24, 92, 3.0) (48, 24, 3.0) (48, 73, 3.0) (34, 48, 3.0) (50, 14, 3.0) (1, 78, 3.

0熱度

2回答

刪除的RDD的第一個和最後一行星火

我使用的火花與sc.textFile(fileLocation)，需要能夠快速下降的第一和最後一行閱讀的文本文件（他們可能是一個首或尾）。我發現的好方法返回第一和最後一排，但沒有很好的一個刪除它們。這可能嗎？

0熱度

1回答

如何生成個人建議的用戶，排除他評爲斯卡拉正在使用spark MLlib ALS算法的電影？

我目前正在計劃爲MovieLens數據集上的用戶使用ALS算法生成電影推薦一切正常，但有些時候ALS算法會返回已評級的電影，我想從建議中排除它們，建議如下。 `val moviesRatedbyUser = ratings.keyBy(_._2.user).lookup(206547) println("rated movies are" + moviesRatedbyUser) val ca

0熱度

1回答

使用takeOrdered對字符串進行降序排序

我是新手，會觸發並遇到問題。我RDD是如下 names_rdd = sc.parallelize(["abc","def","ghi", "jkl","mno"]); 我感到困惑如何使用takeOrdered命令來獲得前3名的話按降序排列。我期待輸出["mno", "jkl", "ghi"]。字符串按字典順序降序排列有人可以幫我解決這個問題。

1熱度

1回答

如何將normalVectorRDD轉換爲Labeled Point數據？

我正在使用pyspark，我想從Mllib包執行線性迴歸。所以我想生成我自己的（大）數據來比較我的集羣性能與單節點python解釋器。 from pyspark.mllib.random import RandomRDDs u=RandomRDDs.normalVectorRDD(sc, 1000000000, 500) u.take(5) 我得到這個： array([ -1.137874