partitioner

0熱度

1回答

type HashPartitioner不是org.apache.spark.sql.SparkSession的成員

我正在使用spark-shell來試驗Spark的HashPartitioner。錯誤如下所示： scala> val data = sc.parallelize(List((1, 3), (2, 4), (3, 6), (3, 7))) data: org.apache.spark.rdd.RDD[(Int, Int)] = ParallelCollectionRDD[0] at parall

1熱度

1回答

如何在分區器hadoop中使用分佈式緩存？

我是hadoop和mapreduce分區程序中的新成員。我想寫自己的分區程序，並且需要在分區程序中讀取文件。我搜索了很多次，我知道我應該使用分佈式緩存。這是我的問題，我該如何在我的hadoop分區器中使用分佈式緩存？我應該在分區器中寫什麼？ public static class CaderPartitioner extends Partitioner<Text,IntWritable> {

2熱度

2回答

爲什麼即使使用單個還原器也會調用分區器

如果我們將MR作業配置爲僅使用單個還原器運行，則不需要調用分區器。但是我只是給了這個鏡頭，即使作業配置了一個簡化器，它看起來也會調用分區器。任何想法，爲什麼這將是必需的？

0熱度

1回答

的Hadoop MapReduce的分區不調用

我需要MapReduce工作的幫助，我的自定義分區永遠不會被調用。我查了一百萬次，但沒有結果。它曾經工作過一段時間，我不知道爲什麼現在不是。任何幫助將非常appreicated。我正在添加代碼（對於非常簡單的情況，它不適用於自定義鍵作爲輸入）。映射器將正確的值輸出100％，然後跳過分區程序。 //import of libs import org.apache.hadoop.conf.Co

0熱度

1回答

Hadoop Oozie MapReduce動作自定義分區程序

如何在oozie工作流XML上爲MapReduce操作配置自定義分區程序？我嘗試過使用： <property> <name>mapreduce.job.partitioner.class</name> <value>com.package.MyPartitioner</value> </property> <property> <name>mapreduce.pa

8熱度

2回答

如何根據hadoop中的值對字數進行排序？

嗨，我想學習如何在hadoop.i知道hadoop需要的排序鍵，但不是價值觀按字面值排序字數。我知道的值進行排序，我們必須有一個分區，groupingcomparator和sortcomparator ，但我在運用這些概念放在一起排序的字按價值算有點糊塗了。我們是否需要使用另一個地圖縮小作業來實現相同或否則組合器來計算出現次數，然後在這裏進行排序並將其發送到Reducer？任何一個可以解釋如

0熱度

2回答

自定義分區程序錯誤

我寫我自己的自定義分區程序（舊的API）下面是我在哪裏擴展分區程序類的代碼： public static class WordPairPartitioner extends Partitioner<WordPair,IntWritable> { @Override public int getPartition(WordPair wordPair, IntWritable i

2熱度

2回答

Hadoop分區程序中的自定義計數器

我想捕獲一些關於自定義分區程序（或甚至默認的HashPartitioner）中的鍵及其值的信息。我可以通過訪問「上下文」變量在映射器和縮減器中使用自定義計數器。但是，在分區程序中，無法訪問「上下文」變量。有什麼辦法可以： -1-獲得對分區程序中的「上下文」變量的訪問權嗎？或 -2-如何向分區添加計數器？謝謝。

0熱度

1回答

如何在java中編寫Kafka Consumer Client以使用來自多個代理的消息？

我一直在尋找java客戶端（卡夫卡消費者）消費來自多個經紀人的消息。請諮詢下面是使用簡單分區程序將消息發佈到多個代理的代碼。主題使用複製因子「2」和分區「3」創建。 public int partition(String topic, Object key, byte[] keyBytes, Object value, byte[] valueBytes, Cluster cluster)

1熱度

1回答

路由鍵值在Hadoop的輔助排序

我有三個減速，我需要他們每個人獲得相同的密鑰，像這樣正確的減速機： GOOG - Reducer 0 AAPL - Reducer 1 VMW - Reducer 2 在分區的getPartition（）方法應返回一個int，指示（0,1,2）的還原器之一的索引。的getPartition的實現（）我有是： return ((CompositeKey) key).getSymbol().