如何在Hive中包含jar（Amazon Hadoop env）

Question

我需要在Hive中包含較新的protobuf jar（比2.5.0更新）。無論如何，無論我把jar放在哪裏 - 它都會被推到classpath的末尾。我怎樣才能確保jar是在Hive類路徑的開頭？

Answer 1

爲了你自己的jar添加到蜂房類路徑，以便它包含在類路徑的開端，而不是由你需要設置以下環境變量一些Hadoop的罐子超載 -

出口HADOOP_USER_CLASSPATH_FIRST =真

這表明HADOOP_CLASSPATH將獲得優於普通hadoop罐子的優先級。

在Amazon emr實例中，您可以將其添加到/home/hadoop/conf/hadoop-env.sh，並修改此文件中的類路徑。

當你想重載像hadoop一般類路徑一樣的protobuf這樣的jar時，這很有用。

Answer 2

你可能會考慮做的另一件事是在你的jar中包含protobuf類。你需要使用程序集插件構建你的jar，這將是這些類。它是一個選項。