根據我對博客的理解,Yarn(mapred2)比hadoop的mapreduce更快或更聰明。如果它是真的,是否有辦法配置Hive使用Yarn/Mapred2而沒有任何複雜情況來提高性能或提高資源利用率?Apache Hive on Yarn
0
A
回答
1
蜂巢運行在Yarn的開箱即用圖上。
但是,在紗線上運行一個古老的蜂巢不會是一個驚天動地的經驗,你可能會測量相同的時間。你想要的是獲得最新的Hive開發和改進(例如,ORC and Vectorization),並且可能嘗試運行Hive on Tez。我推薦閱讀關於Stinger的內容,並瀏覽這個deployment guide。
+0
在我的測試經驗中,從Hadoop 1轉向Hadoop 2導致了20%-30%的提升。 Remus提到的改進要多得多。 –
相關問題
- 1. Spark on yarn-cluster提交 - Hive錯誤
- 2. Hive On Spark:java.lang.NoClassDefFoundError:org/apache/hive/spark/client /作業
- 3. Apache Helix vs YARN
- 4. Sparn on YARN + Secured hbase
- 5. 如何從Yarn獲取Hive源SQL?
- 6. Apache Hive中的Unix_timestamp
- 7. Apache Hive LIKE'string%'或substr?
- 8. Apache Phoenix vs Hive-Spark
- 9. HDFS Path for Spark Submit和Flink on YARN
- 10. Oozie on YARN - oozie不允許冒充hadoop
- 11. Flume - HiveSink:java.lang.NoClassDefFoundError:org/apache/hive/hcatalog/streaming/RecordWriter
- 12. 天。減去在HIVE APACHE
- 13. Apache Hive字符串拆分
- 14. 如何配置Apache Hive?
- 15. SPARK_RPC_CLIENT_CONNECT_TIMEOUT在Spark上運行Hive - YARN集羣模式
- 16. 使用Hadoop在本地模式下運行Hive查詢YARN
- 17. yarn-site.xml與YARN中的yarn-default.xml
- 18. Hive apache wiki一步一步跟着Hive安裝問題
- 19. Apache-Camel Choice on Filetype
- 20. Ruby on Apache with mod_ruby
- 21. Django on Apache with FCGI
- 22. 啓動Hive時出錯:java.lang.NoClassDefFoundError:org/apache/hadoop/hive/conf/HiveConf
- 23. Hive on Spark:Missing <spark-assembly * .jar>
- 24. Hive CLI未啓動
- 25. Mac OS X - Apache路徑? Ruby on Apache?
- 26. Apache Hive中的自動測試
- 27. 關於Apache Hive Map方面加入
- 28. Apache Hive與普通地圖減少
- 29. 在Apache Hadoop和Hive上安裝Hue(Redhat)
- 30. apache hive專欄評論與CTAS
您需要安裝支持hadoop2/Yarn的Hive版本。我們在hadoop-2.2.0集羣上運行Hive 0.12,並且有明顯的性能提升,儘管這是軼事,我們還沒有運行任何測試。 – Vishal