如何在app退出後在HDInsight中查看Spark中的日誌？

Question

當應用程序正在運行時，我可以從RM UI查看日誌。但在應用程序退出後，我在嘗試查看日誌時收到此消息：

嘗試構建到日誌服務器的重定向url失敗。 日誌服務器url可能未配置java.lang.Exception：未知 容器。容器未啓動或已完成 或完全不屬於此節點。

我環顧了我的HDInsight存儲，但找不到任何日誌文件。

Answer 1

如果您正在使用YARN您星火執行，你可以使用其內置的日誌系統。

根據官方星火documentation：

如果日誌聚集打開（與yarn.log聚集啓用配置），容器日誌複製到HDFS和在本地計算機上刪除。這些日誌可以通過「yarn logs」命令從羣集中的任何位置查看。

HDInsight集羣支持這種類型的日誌記錄。爲了訪問它們，下面的命令可以在命令行中使用：

yarn logs -applicationId <app ID> 

要識別應用程序ID，您可能希望訪問的Hadoop的用戶界面，並期待爲所有應用部分：

注意：爲了輸出整個日誌到一個文件，你可能要追加> TextFile.txt上面的命令。