1
當執行Hive查詢時，會執行多少個Mapper/Reducer或執行Hive查詢時，如何確定如何執行Map Mapper和Reducer？執行Hive查詢時分配了多少Mappers和Reducers
A
回答
3
映射器的數量取決於由jobclient計算的輸入拆分的數量。
而且配置單元查詢就像是一系列Map縮減作業。如果您編寫一個簡單的查詢，如select Count(*) from Employee只會執行一個Map reduce程序。如果您提供包含大量聚合和連接等的複雜查詢，則將執行一系列Map Reduce程序，該程序將較早的MR階段輸出用作下一個MR階段的輸入，並將最終結果轉儲到HDFS中。
減速的數量可以通過開發者在蜂巢殼牌被設置爲mapred.reduce.tasks = X
相關問題
- 1. Mapreduce：比mappers更多的reducers？
- 2. Hive如何執行查詢？
- 3. Hive查詢執行時間太長
- 4. 如何在查詢中分配運行Hive查詢的值
- 5. 查詢中打開了多少個plpython執行環境？
- 6. Hierarchical Hibernate，執行多少個查詢？
- 7. 如何增加hadoop中mapreduce程序中mappers和reducers的數量？
- 8. 在Hive上執行Spark SQL查詢
- 9. 如何在hadoop中執行hive查詢
- 10. 減少此查詢的執行時間
- 11. 如何減少查詢執行時間
- 12. 減少SQL查詢的執行時間
- 13. 減少MySQL查詢執行時間
- 14. 減少查詢的執行時間
- 15. 減少WMI查詢執行時間
- 16. 執行查詢時hive是否運行hadoop？
- 17. 如何減少多個查詢的執行時間？
- 18. HIVE總和查詢
- 19. Hadoop HIVE - 如何查詢部分行
- 20. 如果SQL查詢執行超過DB2中分配的時間，則執行SQL查詢執行
- 21. mysql查詢執行時間|減少查詢
- 22. Hive多個子查詢和組由
- 23. Hive查詢在通過spark執行時返回錯誤答案
- 24. 在WSo2的Hive表上執行查詢時得到的錯誤
- 25. Hadoop中的Mappers and Reducers必須是靜態類嗎？
- 26. Malloc - >分配了多少內存？
- 27. NSMutableArray arrayWithCapacity - 分配了多少內存？
- 28. Hadoop Hive查詢：多連接
- 29. Hive與多個子查詢
- 30. 執行多行SQLite查詢
你能告訴我一些文檔/ archtechture或過程圖。這樣我可以更好地理解內部工作的蜂巢查詢。 – techprat