MapReduce的2作業的本地運行，而不是被提交到紗線

所以我試圖配置我的工作將提交給紗，而是它在本地運行：MapReduce的2作業的本地運行，而不是被提交到紗線

config.set("yarn.resourcemanager.address", "ADDRESS:8032"); 
config.set("mapreduce.framework.name", "yarn"); 
config.set("fs.default.name", "hdfs://ADDRESS:8020");

如果我設置mapred.job.tracker它失敗：

Exception in thread "main" org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.ipc.RpcServerException): Unknown rpc kind in rpc headerRPC_WRITABLE

因爲它不是MR1。

那麼爲什麼應用程序不提交到紗線？

來源

2017-02-14 Sorin

什麼是您使用提交作業的命令？ – franklinsijo

您是否有單節點或多節點羣集 –

@franklinsijo：即時運行正常的mapreduce作業，例如：作業作業=新作業（config，「job」）; ..... job.waitForCompletion（true）工作開始在我的本地eclipse中運行，而不是被提交到紗線。 – Sorin

通過這樣解決的：

config.set("yarn.resourcemanager.address", "ADDRESS:8032"); 
config.set("yarn.resourcemanager.scheduler.address", "ADDRESS:8030"); 
config.set("yarn.resourcemanager.resource-tracker.address", "ADDRESS:8031"); 
config.set("yarn.resourcemanager.admin.address", "ADDRESS:8033");

代替：

config.set("yarn.resourcemanager.address", "ADDRESS:8032");

來源

2017-02-15 15:48:08 Sorin

MapReduce的2作業的本地運行，而不是被提交到紗線

回答

相關問題