0

我正面臨一個奇怪的錯誤,我無法在Azure Hortonworks Sandbox的任何日誌中找到它。 我試圖執行以下操作來嘗試Mongodb與Hadoop(Hive)的集成:https://www.mongodb.com/blog/post/using-mongodb-hadoop-spark-part-2-hive-example,但是當我嘗試在Mongo中使用Hive創建表時,出現以下錯誤(使用hive CLI,直線和既MR2和TEZ處理器上Ambari蜂巢視圖):HDP沙盒中的MongoDB Hadoop連接器故障生成的Hive日誌在哪裏?

Error: Error while processing statement: FAILED: Execution Error, 
return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask.com/mongodb/BasicDBObject (state=08S01,code=1) 

那麼,谷歌上搜索這個消息,我發現人們引用一些Java日誌描述真正的例外是什麼,並總結(大部分時間)MongoDB的-Java的驅動程序jar丟失到classpath中。

我的第一個問題:這些日誌在哪裏描述了真正的異常?因爲查看/var/log/hive*/*.log和Yarn ResourceManagerUI - >日誌,除了「InterruptedException」,「ERROR applicationhistoryservice.ApplicationHistoryServer(LogAdapter.java:error(69)) - 我收到的信號15:SIGTERM「等等......但沒有什麼用處。

接下來,我在本地路徑中添加了mongo-hadoop-core和mongo-hadoop-hive jar(根據我的沙箱版本規範從github構建)和3.3.0版本的mongodb-java-driver, hive-site.xml的hive.aux.jars.path部分,最後重新啓動我的配置單元服務(所以,包括hive-server2)...但沒有辦法讓這個工作,並沒有辦法獲得更多的信息理解爲什麼它沒有運行...

我忘記了什麼嗎? 感謝您的幫助!

回答

0

嗯,我終於找到了什麼是我的問題。

bson- $ MongoVersion的.jar和MongoDB驅動器 - 核 - $ MongoVersion失蹤的.jar的罐子。

即使連接文檔指定我們需要包括蒙戈 - Hadoop的核心 - $ connectorVersion的.jar,蒙戈 - Hadoop的hive- $ connectorVersion的.jar和MongoDB,駕駛員 - $ mongoJavaDriver的.jar到hadoop類路徑,它似乎也需要bson和mongodb-driver-core核心。

最後,日誌位於:/var/log/hive/hiveserver2.log。我不明白我怎麼會錯過讀這些日誌的消息,但是,在這裏它是。