1
我正在研究HDInsight地圖縮小。性能非常糟糕。HDInsight性能問題 - 地圖縮小
我已經創建映射鍵,如下值:
Mapper.key = 「RequesitID」
Mapper.Value = 「姓名|年齡|日期|國家」
而在減速只是添加映射鍵和值:
減速= Mapper.Key + Mapper.Value
任何人都可以建議的最佳實踐和方法來提高性能?
我正在研究HDInsight地圖縮小。性能非常糟糕。HDInsight性能問題 - 地圖縮小
我已經創建映射鍵,如下值:
Mapper.key = 「RequesitID」
Mapper.Value = 「姓名|年齡|日期|國家」
而在減速只是添加映射鍵和值:
減速= Mapper.Key + Mapper.Value
任何人都可以建議的最佳實踐和方法來提高性能?
我們需要更多信息。你有多少mappers和reducer?
一般來說,優化MR疑問,認爲有關調整的映射器和減縮如下所示:http://wiki.apache.org/hadoop/HowManyMapsAndReduces
爲了優化配置單元查詢,看看這個鏈接:https://azure.microsoft.com/en-us/documentation/articles/hdinsight-hadoop-optimize-hive-query/