AWS-EMR：日誌文件在哪裏？

我正在使用EMR通過紗線運行火花作業。作業失敗，但我無法找到EMR在哪裏登錄異常，我可以在主節點屏幕輸出上看到如下回溯。應該有一個更詳細的日誌文件，顯示導致異常的原因，但我找不到它在哪裏。我查看了不顯示任何錯誤的hdfs：// var/log/spark/app/application_xxx。這裏是我遞交申請：AWS-EMR：日誌文件在哪裏？

spark-submit --deploy-mode cluster --master yarn --num-executors 1 --executor-cores 2 --executor-memory 5g word2vec_app.py hdfs:///test/r8_no_sto.txt

這裏是主節點上的屏幕輸出：

Exception in thread "main" org.apache.spark.SparkException: Application application_1488419676573_0005 finished with failed status 
    at org.apache.spark.deploy.yarn.Client.run(Client.scala:1167) 
    at org.apache.spark.deploy.yarn.Client$.main(Client.scala:1213) 
    at org.apache.spark.deploy.yarn.Client.main(Client.scala) 
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) 
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) 
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) 
    at java.lang.reflect.Method.invoke(Method.java:498) 
    at org.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:738) 
    at org.apache.spark.deploy.SparkSubmit$.doRunMain$1(SparkSubmit.scala:187) 
    at org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:212) 
    at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:126) 
    at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)

來源

2017-03-02 sgu

s3中會有一個文件夾。雖然配置EMR我認爲我們可以選擇設置日誌目錄。默認情況下它存儲在s3中。路徑是s3：// aws-logs- [ACCOUNT_NUMBER] - [AVAILABILITY_ZONE]/elasticmapreduce/ –

節點的stdout/stderr可以在/ mnt/var/log/hadoop-yarn/containers /應用程序在每個節點。

來源

2017-03-05 17:02:44 sgu

將有你的S3的文件夾。雖然配置EMR我認爲我們可以選擇設置日誌目錄。路徑是s3：// aws-logs- [ACCOUNT_NUMBER] - [AVAILABILITY_ZONE]/elasticma preduce/

來源

2017-03-02 03:39:25

我沒有檢查將其保存在S3上的選項。它仍然會記錄在hdfs或節點上嗎？ – sgu

AWS-EMR：日誌文件在哪裏？

回答

相關問題