HDInsight性能問題 - 地圖縮小

Question

我正在研究HDInsight地圖縮小。性能非常糟糕。

我已經創建映射鍵，如下值：

Mapper.key = 「RequesitID」

Mapper.Value = 「姓名|年齡|日期|國家」

而在減速只是添加映射鍵和值：

減速= Mapper.Key + Mapper.Value

任何人都可以建議的最佳實踐和方法來提高性能？

Answer 1

我們需要更多信息。你有多少mappers和reducer？

一般來說，優化MR疑問，認爲有關調整的映射器和減縮如下所示：http://wiki.apache.org/hadoop/HowManyMapsAndReduces

爲了優化配置單元查詢，看看這個鏈接：https://azure.microsoft.com/en-us/documentation/articles/hdinsight-hadoop-optimize-hive-query/