1
最近有人問我如何處理reduce任務的不平衡輸入。我想了一會兒，試圖重新分配數據，但沒有提出一個好的解決方案。有什麼建議？如何處理reduce任務的不平衡輸入？
A
回答
3
其實你有2種方法。
- 增加減少的數量，所以你的數據可能更可能沿着任務
- 傳播重寫分區的鍵在任務更好地分配。 [1]
[1] http://hadoop.apache.org/common/docs/r0.20.2/api/org/apache/hadoop/mapreduce/Partitioner.html
相關問題
- 1. 處理輸入與不平衡的括號
- 2. WCF + SSL如何處理負載平衡？
- 3. 不平衡括號（批處理文件）
- 4. 如何使用Ansible任務處理要求輸入的命令？
- 5. 如何處理SVM中的數據不平衡？
- 6. OpenCV中的SVM：如何處理不平衡數據？
- 7. 如何處理高度不平衡的數據集
- 8. 如果不平衡的處理方法都不起作用
- 9. 如何用sklearn GroupKfold處理類別不平衡？
- 10. 算法再平衡的循環任務
- 11. 週期性任務的最佳公平負載均衡/多處理器調度
- 12. 並行處理的負載平衡
- 13. 如何處理ETL任務？
- 14. python多處理不處理任務
- 15. 如何處理任務完成 - 但每個任務需要不同的方法來處理任務的結果
- 16. Python多處理負載平衡器
- 17. 如何處理負載平衡中的返回會話
- 18. 如何處理Solr中的負載平衡？
- 19. 如何處理輸入？
- 20. 如何劃分map-reduce任務？
- 21. 平衡如何平衡B-樹
- 22. 如何處理2D平臺遊戲中的複雜輸入？
- 23. 如何處理非平凡的表單輸入？ JSP還是Javascript？
- 24. 拆分鍵/在地圖中值輸入文件/ reduce任務
- 25. 負載平衡MS Dynamics CRM 2011沙箱處理服務
- 26. 平衡不平衡/部分平衡BST的複雜性？
- 27. 我們如何使用平衡付款處理付款？
- 28. Xgboost處理不平衡的分類數據
- 29. optaplanner不正確的雲平衡輸出
- 30. 的Hadoop如何分配到減速處理不平衡負載 - CustomPartition
謝謝你，讓我想起了分區的 –