在哪裏檢查我的紗+火花的應用程序的日誌？

我寫紗+火花的應用程序，爲簡單起見，我列出以下在哪裏檢查我的紗+火花的應用程序的日誌？

object testKafkaSparkStreaming extends Logging { 

    private class Parser extends Logging{ 
     def parse(row: String): Row = 
     { 
     val row = "/_dc.gif| |20160616063934| |39.190.5.69| |729252016040907094857083a3c7c62e" 

     logInfo("pengcz starting parse " + row) 
     } 
    } 

    def main(args: Array[String]) { 
     ... 
     logInfo("main starting parse " + row) 
     ... 
    } 
}

當我執行：

spark-submit --master local[*] --class $CLASS $JAR ...

我可以看到兩個日誌的相關信息在控制檯

但是當我執行時：

spark-submit --master yarn --class $CLASS $JAR ...

我打開紗網ui我自己的應用程序：

http://192.168.36.172:8088/cluster/app/application_1465894400511_3624 我點擊logs的頁面下，我得到：但頁面有沒有信息，包括我的兩個日誌

我應該怎麼做才能找到我自己的日誌？任何意見將不勝感激！

來源

2016-06-17 abelard2008

[星火1.5.0 spark.app.id警告（可能的重複http://stackoverflow.com/questions/ 32793276 /火花1-5-0火花-APP-ID-警告） – eliasah

你可以使用這個命令來查看應用程序的紗線日誌：

yarn logs -applicationId <Your Yarn Application ID> // i.e. application_1465894400511_3624

來源

2016-06-17 11:18:50

在哪裏檢查我的紗+火花的應用程序的日誌？

回答

相關問題