3
A
回答
3
「的Hadoop權威指南」第2版介紹了第8章全球排序的代碼樣本。
6
默認情況下,MapReduce會按鍵輸入記錄。
但是,它可能會幫助您下載最新的Hadoop版本並查看它們的示例。也有不同的排序示例。
如果您需要更多關於排序順序的信息,可以如何更改它。
鑰匙的排序順序由RawComparator,其被發現如下控制:
如果屬性mapred.output.key.comparator.class設置,即類 的一個實例是用過的。 (上JobConf的setOutputKeyComparatorClass()方法是將該屬性設置一個方便的方式 )
否則,密鑰必須WritableComparable的子類,並使用該註冊 比較的鍵類。
如果沒有註冊比較,則RawComparator用於該反序列 被比較成對象並委託給WritableCompar 能的的compareTo()方法的字節流。 這些規則強化了爲什麼爲您自己的自定義可寫類註冊RawCompara 驅動器優化版本的重要性,並且通過設置自己的比較器可以直接覆蓋 排序順序。
相關問題
- 1. Hadoop 2.4.1 for Mapreduce編程的eclipse-plugin
- 2. hadoop mapreduce編程條件如果條件
- 3. Hadoop mapReduce編程錯誤異常
- 4. hadoop mapreduce
- 5. Hadoop Mapreduce wordcount
- 6. hadoop mapreduce model java
- 7. Hadoop和MapReduce
- 8. hadoop mapreduce teragen FAIL_CONTAINER_CLEANUP
- 9. hadoop mapreduce兩種
- 10. 在hadoop mapreduce
- 11. hadoop的Dumbo mapreduce
- 12. Hadoop Mapreduce ClassNotFoundException
- 13. Hadoop MapReduce思維
- 14. Hadoop中的MapReduce
- 15. 以編程方式讀取Hadoop Mapreduce程序的輸出
- 16. MapReduce編程
- 17. Hadoop MapReduce appcache目錄
- 18. mapreduce中的reducers hadoop
- 19. NoClassDefFoundError:org/json/JSONObject - Hadoop MapReduce
- 20. Hadoop MapReduce DBInputFormat和DBOutputFormat
- 21. MapReduce Apache Hadoop技術
- 22. Hadoop Maven依賴MapReduce
- 23. Hadoop MapReduce多輸入
- 24. Hadoop MapReduce中的DataJoins
- 25. hadoop mapreduce程序中的錯誤
- 26. java.lang.NoClassDefFoundError在Hadoop的基礎的MapReduce程序
- 27. 在hadoop中運行非mapreduce程序
- 28. Hadoop mapreduce - reducer未運行
- 29. Hadoop MapReduce中間輸出
- 30. 大廈的Hadoop MapReduce的
內置的WritableComparable類將正確比較,因此如果它是LongWritable,它將按降序排序。如果您想要自己的排序順序(例如按文本字符串排序),然後在該順序內按時間戳排序,則需要一個自定義鍵和一個自定義排序比較器和自定義分組比較器。 – Drizzt321