Spark在集羣模式下打印沒有登錄

Question

當在本地模式下運行，這將打印日誌到控制檯：

object Util extends Logging { 

    val df: DataFrame = ??? 

    df.select("id", "name") 
     .rdd.foreach(r => log.warn("here")) 
} 

但在集羣模式下運行時，它沒有。我相信這是因爲日誌命令在工作節點而不是主節點上執行。如果使用println(...)

同樣的事情，我怎麼能有日誌結果在控制檯中顯示出來？

Answer 1

如果你運行一個集羣上你的工作，你首先應該collect您rdd數據。

rdd.collect().foreach(r ⇒ log.warn("here")) 

但是可能它不是一個好主意，收集所有rdd，所以您可以使用take功能，讓RDD元素的少數打印。