2014-02-26 80 views
0

根據我對博客的理解,Yarn(mapred2)比hadoop的mapreduce更快或更聰明。如果它是真的,是否有辦法配置Hive使用Yarn/Mapred2而沒有任何複雜情況來提高性能或提高資源利用率?Apache Hive on Yarn

+0

您需要安裝支持hadoop2/Yarn的Hive版本。我們在hadoop-2.2.0集羣上運行Hive 0.12,並且有明顯的性能提升,儘管這是軼事,我們還沒有運行任何測試。 – Vishal

回答

1

蜂巢運行在Yarn的開箱即用圖上。

但是,在紗線上運行一個古老的蜂巢不會是一個驚天動地的經驗,你可能會測量相同的時間。你想要的是獲得最新的Hive開發和改進(例如,ORC and Vectorization),並且可能嘗試運行Hive on Tez。我推薦閱讀關於Stinger的內容,並瀏覽這個deployment guide

+0

在我的測試經驗中,從Hadoop 1轉向Hadoop 2導致了20%-30%的提升。 Remus提到的改進要多得多。 –