rdd

0熱度

1回答

我目前正在嘗試利用每分鐘請求數據來豐富機器學習數據。數據存儲在Kafka話題中，應用程序開始加載和處理話題的全部內容 - 因此，根據我的知識，不可能使用Spark流的任何窗口操作，因爲所有數據都將同時到達。我的方法是嘗試以下操作： val kMeansFeatureRdd = kMeansInformationRdd.map(x => { val begin = x._2 //Lon

0熱度

1回答

在apache的火花JavaPairRDD

鍵排序我JavaPairRDD類型的關鍵Tuple2<Integer, Integer> 我希望通過我的鑰匙JavaPairRDD排序所以我寫了這樣一個比較： JavaPairRDD<Tuple2<Integer, Integer>, Integer> Rresult=result.sortByKey(new Comparator<Tuple2<Integer, Integer>>() {

1熱度

2回答

使用groupby或aggregate來合併RDD或DataFrame中的每個事務中的項目以進行FP增長

我想將此結構的數據框更改爲第二個。 +---+-----+-----+ | id|order|items| +---+-----+-----+ | 0| a| 1| | 1| a| 2| | 2| a| 5| | 3| b| 1| | 4| b| 2| | 5| b| 3| | 6| b| 5| | 7| c| 1| | 8| c| 2| +---+-----+-----+

0熱度

1回答

讀取數據框中可用的文件路徑並使用spark讀取這些文件的內容

0熱度

2回答

無法打印/火花API日誌消息

我調試一個Spark工作，但不知何故，一個星火API調用內部任何事情都是從控制檯/日誌hidding，這裏是我的代碼： public static JavaRDD<SolrInputDocument> join( JavaPairRDD<ImmutableBytesWritable, Result> hBaseRdd, List<NuggetsField> fields) {

1熱度

2回答

爲什麼預分區會因減少混洗而受益？

許多教程提到RDD的預分區將優化火花作業的數據混排。我很困惑的是，因爲我的理解，預分區也會導致洗牌，爲什麼在這裏提前洗牌會有利於某些操作？特別是它會自我激發，會爲一組轉換做優化。例如：如果我想將兩個數據集的國家（ID，國家）和收入（ID，（收入，月，年）），這是什麼兩種操作之間的區別？（我用PySpark模式）通過ID預分區 country = country.partitionBy(10

0熱度

2回答

在動作之前UNION父rdd和子rdd會發生什麼？

假設我有一些RDD有血統是這樣的： rdd0 - > RDD1集 - > RDD2 - > rdd3 - > rdd4 發生什麼事，當我做rdd1.union（RDD2）.union（rdd3）。工會（rdd4）.collect（）？在計算rdd4時，spark會做rdd0到rdd3轉換的重新計算嗎？

3熱度

1回答

（Spark）有沒有什麼可能的方法來優化兩個大的rdd連接時，他們都是內存太大（意味着不能使用廣播）？

作爲標題。當兩個內存對內存來說太大時，是否有任何可能的方法來優化兩個大型rdd連接？在這種情況下，我想我們不能使用廣播進行地圖邊連接。如果我要參加這個兩個RDD，和他們兩個是太大，無法在內存： country_rdd: (id, country) income_rdd: (id, (income, month, year)) joined_rdd = income_rdd.join

0熱度

1回答

pyspark錯誤，而使用loadlabledpoints RDD

我使用pyspark 我讀了libsvm的文件，它轉，然後再保存它。我每個數據行保存爲稀疏數據我嘗試使用MLUtils.saveaslibsvm比讀取使用MLUtils.loadlibsvm文件MLUtils.labeledpoint對象，我收到以下錯誤 ValueError: could not convert string to float: [ at org.apache.spark.a

0熱度

1回答

斯卡拉斯卡拉 - 但類RDD是不變的類型T

對於外行人的另一個問題：兩個似乎相同但不相同的RDD。具體如下： val rdd0 = sc.parallelize(List("a", "b", "c", "d", "e")) val rdd1 = rdd0.map(x => (x, 110 - x.toCharArray()(0).toByte)) val rdd2 = sc.parallelize(List(("c", 2), ("d