如何測量Spark GraphX應用程序的執行時間？

Question

什麼是使用Graphx查找程序的總執行時間的最可靠方式，最好是使用歷史記錄服務器還是使用System.currentTimeMillis()或其他程序中的程序使用變量？

Answer 1

測量Spark GraphX應用程序的執行時間與測量任何其他Spark應用程序的性能沒有區別。

我強烈建議在Spark應用程序啓動並運行時使用Web UI，然後再啓動Spark History Server。

您還可以使用SparkListener構建類似於Web UI的東西（畢竟Web UI只是一堆SparkListeners）。

System.currentTimeMillis()也可以工作，但爲什麼重新發明輪子如果幾乎所有（如果不是全部？）已經在Spark中可用？