有點奇怪的問題,但是有誰知道MapReduce在shuffle/sort的排序部分中使用的是什麼類型?我會考慮合併或插入(與整個MapReduce範例保持一致),但我不確定。MapReduce混洗/排序方法
9
A
回答
9
它是快速排序,之後將排序的中間輸出合併在一起。 Quicksort檢查遞歸深度,並在其過深時放棄。如果是這種情況,則使用Heapsort。
看一看快速排序類:
org.apache.hadoop.util.QuickSort
您可以通過改變在hadoop-default.xml的map.sort.class值所使用的算法。在我的博客Map-Reduce:Shuffle and sort
:
-1
要了解更多關於它的更深入,隨意對後讀到它Hadoop: Some Salient Understandings
相關問題
- 1. 洗牌和排序的MapReduce
- 2. mapreduce如何排序和洗牌工作?
- 3. Hadoop MapReduce中的排序和洗牌優化
- 4. 混洗甲板算法
- 5. MapReduce洗牌階段瓶頸
- 6. 如何在hadoop作業中優化混洗/排序階段
- 7. MapReduce排序算法如何工作?
- 8. Mapreduce無法按值排序[python]
- 9. 隨機洗牌相同元素的排序比較方法
- 10. Android:Gridview圖像混洗/混合
- 11. Elasticsearch洗牌索引排序
- 12. Hadoop:排序和洗牌
- 13. JavaScript - 混洗音頻
- 14. 在java中混洗
- 15. Python中的混洗
- 16. 混洗變量值
- 17. Riak - MapReduce字段排序
- 18. Riak對MapReduce的排序
- 19. 的MapReduce,排序的值
- 20. MapReduce的排序迭代
- 21. 用mapreduce全局排序
- 22. hadoop MapReduce按價值排序
- 23. 的MapReduce沒有排序
- 24. 酸洗類方法
- 25. 如何用ScalaCheck生成混洗序列?
- 26. 混洗功能無法正常工作
- 27. 混洗算法之間的區別
- 28. 算法跟蹤大量混洗甲板
- 29. Apache Spark中的混洗與非混洗聚結
- 30. 將Objective-C中的混洗陣列方法轉換爲Swift(iOS)
THX的編輯。 – 2011-04-25 16:13:07
這種排序技術的開關是標準的混合排序AFAIK。它被稱爲IntroSort:http://en.wikipedia.org/wiki/Introsort – 2014-02-20 18:44:42