AWS上的Oozie Hive操作 - 不可預知的IP源破壞作業

我已經有幾天的非合作酷刑，讓Hive作業通過Oozie在AWS 5機羣上運行。涉及活體腫瘤的最簡單的工作成功或失敗，無法預料。錯誤消息是相當無益的：AWS上的Oozie Hive操作 - 不可預知的IP源破壞作業

Hive failed, error message[Main class [org.apache.oozie.action.hadoop.HiveMain], exit code [1]]

謝謝Oozie！

經過很多樂趣改變了幾乎所有可以想象的設置之後，我仔細研究了hivemetastore.log（我們將mySQL作爲metastore），並意識到每個成功的請求都來自172.31.40.3。未成功的請求來自172.31.40.2,172.31.40.4和172.31.40.5。 Hive控制檯應用程序在172.31.40.1上發出請求時沒有問題

這是在接近一週後不知道正在發生什麼事情的某個地方。現在的問題是，我需要更改哪些內容以允許來自172.31.40.1-5的所有請求？或者僅通過172.31.40.1或172.31.40.3漏斗Oozie請求。

爲什麼只有172.31.40.1和172.31.40.3有效？

熱情接待所有意見和建議。

千恩萬謝

託比

來源

2014-12-02 TobyEvans

蜂巢服務器日誌裏有什麼？ – 2014-12-03 07:01:24

ok - hiveserver2.log - 由Nagios引起的一堆Thrift錯誤。 hive.log - 空，hive-server2.log - 空。我真正要問的是，對Oozie的請求如何分配給羣集中的計算機執行，以及它們的權限如何設置？ – TobyEvans 2014-12-03 11:09:33

這到底這麼簡單 - Oozie的客戶端只安裝在集羣中的5臺機器的2。相應的，當然，到了2個IP地址一旦我們安裝了Oozie的客戶端，可以使成功請求蜂巢metastore

到集羣中的所有機器，所有的工作都自動接受和跑OK

當你知道答案時很明顯......

來源

2014-12-03 22:09:55 TobyEvans

AWS上的Oozie Hive操作 - 不可預知的IP源破壞作業

回答

相關問題