indexedrdd

0熱度

1回答

什麼是從IndexedRDD

檢索一批重點的最有效的方式，我有一個IndexedRDD類型： IndexedRDD<String,HashMap<String,Double>> 有大約400萬鍵值對。我想知道從IndexedRDD中檢索一批密鑰的最有效方法是什麼？例如，給定10000個鍵，我想要有效地檢索10000個鍵值對，使用索引進行快速檢索。 我試過使用IndexedRDD.MultiGet（keys），但發現它一個接

apache-spark rdd indexedrdd 2015-11-05

---

-1熱度

1回答

Spark RDD更新

我正在從HDFS加載文件到JavaRDD，並且想要更新那個RDD。爲此，我將其轉換爲IndexedRDD（https://github.com/amplab/spark-indexedrdd），但我無法獲得Classcast Exception。 基本上我會做出關鍵值對並更新密鑰。 IndexedRDD支持更新。有什麼方法可以轉換嗎？ JavaPairRDD<String, String> map

hadoop apache-spark spark-streaming hadoop2 indexedrdd 2015-08-21

---