紗線沒有得到節點

這是在具有2個任務節點和主控的AWS EMR集羣中。紗線沒有得到節點

我在嘗試啓動紗線作業的hello-samza。這項工作陷入了接受狀態。我看了其他帖子，似乎我的紗線沒有節點。什麼紗線沒有獲得任務節點的幫助將有所幫助。

[[email protected] hello-samza]$ deploy/yarn/bin/yarn node -list 
17/04/18 23:30:45 INFO client.RMProxy: Connecting to ResourceManager at /127.0.0.1:8032 
Total Nodes:0 
    Node-Id   Node-State Node-Http-Address Number-of-Running-Containers 

[[email protected] hello-samza]$ deploy/yarn/bin/yarn application -list -appStates ALL 
17/04/18 23:26:30 INFO client.RMProxy: Connecting to ResourceManager at /127.0.0.1:8032 
Total number of applications (application-types: [] and states: [NEW, NEW_SAVING, SUBMITTED, ACCEPTED, RUNNING, FINISHED, FAILED, KILLED]):1 
      Application-Id  Application-Name  Application-Type   User  Queue    State   Final-State   Progress      Tracking-URL 
application_1492557889328_0001 wikipedia-parser_1     Samza  hadoop  default   ACCEPTED   UNDEFINED    0%         N/A

來源

2017-04-19 dvshekar

讓我們看看你是否有任何不健康的節點，發佈'yarn node -list -all'的輸出 – franklinsijo

[hadoop @ xxx hello-samza] $ deploy/yarn/bin/yarn node -list全部 17/04/19 16時48分59秒INFO client.RMProxy：在/127.0.0.1:8032 總節的連接到ResourceManager中：0 節點ID \t節點狀態\t節點-HTTP地址\t編號運行的-的容器 – dvshekar

你使用了一個錯誤的論點。它是小寫的「-all」。 – franklinsijo

這似乎是nodemanagers沒有任一節點上運行（或者根本不啓動或錯誤而退出）。使用jps命令檢查是否所有與YARN關聯的守護進程都在兩個節點上運行。此外，請檢查兩個nodemanager日誌以查看是否有任何異常可能已將其殺死。

來源

2017-04-19 03:00:35

jps沒有給我nodemanager和resourcemanager。我可以看到工作追蹤器中的工作，但失敗了。 appattempt_1492641052989_0008_000002使用exitCode退出：-1000 對於更詳細的輸出，請檢查應用程序跟蹤頁面：http：//xxxx.internal：8088/cluster/app/application_xxx 診斷：文件文件：/應用程序application_1492641052989_0008由於AM容器而失敗， home/hadoop/samza/hello-samza/target/hello-samza-0.13.0-dist.tar.gz不存在 – dvshekar

@dvshekar希望你已經知道了。但我想知道如果文件路徑不正確。它應該是「file：//」嗎？只是一個猜測。一般而言，當您從Yarn中獲得此異常時，這意味着RM無法本地化您的資源（這是本例中的作業包）。 –

我認爲file：//是我身邊的一個錯字。我試圖複製所有節點中的文件，並認爲刪除了該錯誤。只有新錯誤開始顯現。但是，我認爲該文件需要在hadoop hdfs中。我嘗試過，但仍然給我一些錯誤。 – dvshekar

紗線沒有得到節點

回答

相關問題