如何將多個作業提交到hadoop羣集

Question

我有一個運行Hadoop 2.6的hadoop羣集。我想同時提交多個作業。我想知道是否應該簡單地提交多個作業，並讓羣集處理其餘作業，或者我應該將它們作爲紗線應用程序編寫。事實上，我對Yarn應用程序開發並不十分熟悉，並且確切知道它與常規Hadoop應用程序的不同之處。

Answer 1

您可以使用正在分叉的mapreduce作業定義oozie工作流程。以下是來自apache oozie文檔的示例。

<workflow-app name="sample-wf" xmlns="uri:oozie:workflow:0.1"> 
    ... 
    <fork name="forking"> 
     <path start="firstparalleljob"/> 
     <path start="secondparalleljob"/> 
    </fork> 
    <action name="firstparallejob"> 
     <map-reduce> 
      <job-tracker>foo:9001</job-tracker> 
      <name-node>bar:9000</name-node> 
      <job-xml>job1.xml</job-xml> 
     </map-reduce> 
     <ok to="joining"/> 
     <error to="kill"/> 
    </action> 
    <action name="secondparalleljob"> 
     <map-reduce> 
      <job-tracker>foo:9001</job-tracker> 
      <name-node>bar:9000</name-node> 
      <job-xml>job2.xml</job-xml> 
     </map-reduce> 
     <ok to="joining"/> 
     <error to="kill"/> 
    </action> 
    <join name="joining" to="nextaction"/> 
    ... 
</workflow-app> 

Answer 2

您可以使用MR1和YARN運行MR作業。 YARN has nothing to do with job parallelism.這只是一個運行各種工作的框架。

使用oozie工作流或shell腳本並行運行作業。