Spring + Maven + Hadoop

我在Spring + Maven + Hadoop環境中遇到問題。我使用Apache Hadoop，但不使用SpringSource提供的spring-hadoop。我在java中使用hadoop添加了以下依賴Maven。Spring + Maven + Hadoop

<dependency> 
     <groupId>org.apache.hadoop</groupId> 
     <artifactId>hadoop-core</artifactId> 
     <version>0.20.2</version> 
     <exclusions> 
      <exclusion> 
       <groupId>org.mortbay.jetty</groupId> 
       <artifactId>jetty</artifactId> 
      </exclusion> 
      <exclusion> 
       <groupId>org.mortbay.jetty</groupId> 
       <artifactId>jetty-util</artifactId> 
      </exclusion> 
      <exclusion> 
       <groupId>org.mortbay.jetty</groupId> 
       <artifactId>jsp-2.1</artifactId> 
      </exclusion> 
      <exclusion> 
       <groupId>org.mortbay.jetty</groupId> 
       <artifactId>jsp-api-2.1</artifactId> 
      </exclusion> 
      <exclusion> 
       <groupId>org.mortbay.jetty</groupId> 
       <artifactId>servlet-api-2.1</artifactId> 
      </exclusion> 
      <exclusion> 
       <groupId>javax.servlet</groupId> 
       <artifactId>servlet-api</artifactId> 
      </exclusion> 
      <exclusion> 
       <groupId>javax.servlet.jsp</groupId> 
       <artifactId>jsp-api</artifactId> 
      </exclusion> 
      <exclusion> 
       <groupId>tomcat</groupId> 
       <artifactId>jasper-compiler</artifactId> 
      </exclusion> 
      <exclusion> 
       <groupId>tomcat</groupId> 
       <artifactId>jasper-runtime</artifactId> 
      </exclusion> 
     </exclusions> 
    </dependency>

而且我執行hadoop mapreduce工作。 Mapreduce工作正常。

但我無法看到「正在運行的任務」列表中的Hadoop的Web UI（http://xxx.xxx.xxx.xxx:50030/jobtracker.jsp）

我開始不Hadoop的命令（前斌/ Hadoop的罐子.... JAR）執行的作業，但只是Java應用程序。這可能是原因嗎？

來源

2013-02-05 오인철

是在MapReduce工作外運行的Hadoop的環境？或者你在旋轉一個僞環境？你的工作追蹤器正在運行嗎？ PS感謝您張貼您的POM它幫助我與另一個問題;） –

這是一個maven問題？在我們能夠幫助你之前，找出問題所在。 –

Hadoop提供API在本地運行MR作業，而無需設置Hadoop集羣。如果您在Hadoop Web UI中看不到您的作業正在運行/完成 - 似乎您在本地運行MR作業。

要遠程運行 - 指定相應的作業服務器主機，你的情況http://xxx.xxx.xxx.xxx:9001

來源

2014-03-13 04:39:08 dmitry

Spring + Maven + Hadoop

回答

相關問題