2014-10-12 39 views
11

我按照這個頁面在yarn-cluster模式下運行YARN上的SparkPi示例應用程序。在紗線叢集模式下在YARN上運行Spark:控制檯輸出到哪裏去?

http://spark.apache.org/docs/latest/running-on-yarn.html

我沒有看到節目的末尾的輸出(它是在這種情況下,計算的結果)。當我在紗線客戶機模式運行(--master紗客戶端),我看到的輸出是這樣的:

Pi爲大約3.138796

哪裏的標準出去在紗線叢集模式?

回答

9

經過大量的摸索,我發現這在spark-0.9.0 doc

檢查輸出(與由先前命令中的「應用標識符」輸出以下替換$ YARN_APP_ID) (注:YARN_APP_LOGS_DIR通常爲/ tmp /日誌或$ HADOOP_HOME /日誌/ userlogs取決於Hadoop的版本)。

$貓$ YARN_APP_LOGS_DIR/$ YARN_APP_ID /容器* _000001 /標準輸出

Pi爲大約3.13794

我希望他們把這個指令在0123也是。

+0

日誌信息位於文檔的「調試您的應用程序」部分。它還介紹如何使用'yarn logs'命令查看日誌。 – 2015-03-19 14:35:05

相關問題