WSO2 external hadoop

Question

我們希望將我們的WSO2 BAM 2.0.1連接到外部hadoop羣集（完全分佈式）。我跟着這個鏈接設置

Configuring Apache Hive

然而，當我跑我的蜂巢腳本，我得到以下錯誤

值java.sql.SQLException：查詢返回非零代碼：9，原因：失敗：執行錯誤，從org.apache.hadoop.hive.ql.exec.MapRedTask

這個蜂巢腳本正常工作與當地的Hadoop模式返回碼-101 ...

我需要做出蜂巢腳本的任何變化，以及與外部的Hadoop集羣工作時..

這些都是我在控制檯中看到的錯誤..

TID：[0] [BAM] [2013-01-16 09：42：36,583]信息{org.apache.hadoop.hive.ql.exec.Utilities} - 未針對hdfs：// r4p8n0c：9000/user/hive/warehouse_wso2-1234/aeanalyticstable_demo {org.apache.hadoop.hive.ql.exec.Utilities}
TID：[0] [BAM] [2013-01-16 09：42：36,583] INFO {org.apache.hadoop.hive.ql。 exec.Utilities} - 未針對hdfs：// r4p8n0c：9000/user/hive/warehouse_wso2-1234/aeanalyticstable_demo {org.apache.had oop.hive.ql.exec.Utilities}
TID：[0] [BAM] [2013-01-16 09：42：36,590]信息{org.apache.hadoop.hive.ql.exec.ExecDriver} - 添加非本地表hdfs：// r4p8n0c：9000/user/hive/warehouse_wso2-1234/aeanalyticstable_demo {org.apache.hadoop.hive.ql.exec.ExecDriver}
TID：[0] [BAM] [2013- 01-16 09：42：36,590] INFO {org.apache.hadoop.hive.ql.exec.ExecDriver} - 添加一個非本地表hdfs：// r4p8n0c：9000/user/hive/warehouse_wso2-1234/aeanalyticstable_demo { org.apache.hadoop.hive.ql.exec.ExecDriver}
TID：[0] [BAM] [2013-01-16 09：42：36,832]錯誤{org.apache.hadoop.hive.ql.Driver} - 失敗：執行錯誤，從org.apache.hadoop.hive.ql.exec.MapRedTask {org.apache.hadoop.hive.ql.Driver}返回代碼-101
TID：[0] [BAM] [2013- 01-16 09：42：36,832] ERROR {org.ap ache.hadoop.hive.ql.Driver} - FAILED：執行錯誤，從org.apache.hadoop.hive.ql.exec.MapRedTask返回代碼-101 {org.apache.hadoop.hive.ql.Driver}
TID ：[0] [BAM] [2013-01-16 09：42：36,833] INFO {org.apache.hadoop.hive.ql.Driver} - {org.apache.hadoop.hive.ql.Driver}
TID ：[0] [BAM] [2013-01-16 09：42：36,833] INFO {org.apache.hadoop.hive.ql.Driver} - {org.apache.hadoop.hive.ql.Driver}
TID ：[0] [BAM] [2013-01-16 09：42：36,833] INFO {org.apache.hadoop.hive.ql.Driver} - {org.apache.hadoop.hive.ql.Driver}
TID ：[0] [BAM] [2013-01-16 09：42：36,833] INFO {org.apache.hadoop.hive.ql.Driver} - {org.apache.hadoop.hive.ql.Driver}
TID ：[0] [BAM] [2013-01-16 09：42：36,834] INFO {org.apache.hadoop .hive.ql.Driver} - {org.apache.hadoop.hive.ql.Driver}
TID：[0] [BAM] [2013-01-16 09：42：36,834] INFO {org.apache.hadoop .hive.ql.Driver} - {org.apache.hadoop.hive.ql.Driver}
TID：[0] [BAM] [2013-01-16 09：42：36,834] ERROR {org.wso2.carbon .analytics.hive.impl.HiveExecutorServiceImpl} - 執行Hive腳本時出錯。
查詢返回的非零代碼：9，原因：FAILED：執行錯誤，從org.apache.hadoop.hive.ql.exec.MapRedTask返回代碼-101 {org.wso2.carbon.analytics.hive.impl.HiveExecutorServiceImpl }
java.sql。SQLException：查詢返回的非零代碼：9，原因：FAILED：執行錯誤，從org.apache.hadoop.hive.ql.exec.MapRedTask返回代碼-101
at org.apache.hadoop.hive.jdbc.HiveStatement .executeQuery（HiveStatement.java:189）
在org.wso2.carbon.analytics.hive.impl.HiveExecutorServiceImpl $ ScriptCallable.call（HiveExecutorServiceImpl.java:325）
在org.wso2.carbon.analytics.hive.impl .HiveExecutorServiceImpl $ ScriptCallable.call（HiveExecutorServiceImpl.java:225）
在java.util.concurrent.FutureTask中$ Sync.innerRun（FutureTask.java:303）
在java.util.concurrent.FutureTask.run（FutureTask.java ：138）
at java.util.concurrent.Thr eadPoolExecutor $ Worker.runTask（ThreadPoolExecutor.java:886）
在java.util.concurrent.ThreadPoolExecutor中的$ Worker.run（ThreadPoolExecutor.java:908）
在java.lang.Thread.run（Thread.java:662）
TID：[0] [BAM] [2013-01-16 09：42：36,848] ERROR {org.wso2.carbon.analytics.hive.ui.client.HiveExecutionClient} - 執行Hive script.Query時出錯返回非-zero code：9，cause：FAILED：Execution Error，return code -101 from org.apache.hadoop.hive.ql.exec.MapRedTask {org.wso2.carbon.analytics.hive.ui.client.HiveExecutionClient}

org.wso2.carbon.analytics.hive.stub.HiveExecutionServiceHiveExecutionException：HiveExecutionServiceHiveExecutionException
在sun.reflect.NativeConstructorAccessorImpl.newInstance0（本機方法）
在sun.reflect.NativeConstructorAccessorImpl.newInstance（NativeConstructorAccessorImpl.java:39）
在sun.reflect.DelegatingConstructorAccessorImpl.newInstance（DelegatingConstructorAccessorImpl.java:27）
在java.lang.reflect.Constructor.newInstance（Constructor.java:513）
at java.lang.Class.newInstance0（Class.java:355）
at java.lang.Class.newInstance（Class.java:308） （HiveExecutionServiceStub.java:215）
在org.wso2.carbon.analytics.hive.ui.client.HiveExecutionClient.executeScript（HiveExecutionClient.java:66）
在org.apache.jsp.hive_002dexplorer.queryresults_jsp._jspService（queryresults_jsp.java:90）
在org.apache.jasper.runtime.HttpJspBase.service（HttpJspBase.java:97）
在javax.servlet.http.HttpServlet.service（HttpServlet.java:722）
在org.apache.jasper.servlet.JspServletWrapper。服務（JspServletWrapper.java:332）
在org.apache.jasper.servlet.JspServlet.serviceJspFile（JspServlet.java:314）
在org.apache.jasper.servlet.JspServlet.service（JspServlet.java:264）
在javax.servlet.http.HttpServlet.service（HttpServlet.java:722）
在org.wso2.carbon.ui.JspServlet.service（JspServlet.java:161）
在org.wso2.carbon.ui。 TilesJspServlet.service（TilesJspServlet.java:80）
在javax.servlet.http.HttpServlet.service（HttpServlet.java:722）
在org.eclipse.equinox.http.helper.ContextPathServletAdaptor.service（ContextPathServletAdaptor.java： 36）
at org.eclipse.equinox.http.servlet.internal.ServletRegistration.handleRequest（ServletRegistration.java:90）
at org.eclipse.equinox.http.servlet.internal.ProxyServlet.processAlias（ProxyServlet。的java：111）
在org.eclipse.equinox.http.servlet.internal.ProxyServlet.service（ProxyServlet.java:67）
在javax.servlet.http.HttpServlet.service（HttpServlet.java:722）
在org.wso2.carbon.tomcat.ext.servlet.DelegationServlet.service（DelegationServlet.java:68）
在org.apache.catalina.core.ApplicationFilterChain.internalDoFilter（ApplicationFilterChain.java:305）
在org.apache .catalina.core.ApplicationFilterChain.doFilter（ApplicationFilterChain.java:210）
at org.apache.catalina.core.ApplicationDispatcher.invoke（ApplicationDispatcher.java:690）
at org.apache.ca talina.core.ApplicationDispatcher.doInclude（ApplicationDispatcher.java:599）

Answer 1

我們能夠使WSO2 BAM與外部完全分佈式Hadoop一起工作。

看起來像2.0.1版本有麻煩提交map-reduce作業到外部hadoop集羣..我們回滾到2.0.0和Hive腳本開始工作。

我想知道這是否是2.0.1的已知問題？我們有2.0.1一個精簡版（它只有碳，分析/ AnalyticsUI，儀表板，登記，Databridge針對，數據源，斯特拉託斯，安全，任務和運輸管理功能）

感謝 拉吉夫

Answer 2

如果你已經正確設置了外部hadoop集羣，它應該可以工作。它已經通過外部hadoop集羣進行了測試。如果您遇到任何問題，請檢查hadoop羣集節點中的錯誤日誌。找到hadoop集羣相關的配置問題會很有幫助。因爲有時候在ui中顯示的問題不是很有用。 您不需要更改Hive腳本以使用外部羣集。

謝謝， Kasun。