如何在火花輸出控制檯中抑制「Stage 2 ===>」？

Question

我有數據框，並試圖獲得不同的計數，並能夠獲得不同的計數成功，但每當scala程序正在執行我收到此消息([Stage 2:=============================> (1 + 1)/2])我怎麼能抑制特定此消息在控制檯。

val countID = dataDF.select(substring(col("dataDF"),5,7).distinct().count() 

Answer 1

您需要設置spark.ui.showConsoleProgress到false

我發現這個在票加進度條的評論。

https://issues.apache.org/jira/browse/SPARK-4017

我還沒有看到它的任何文件的，雖然，它真的應該加入。