績效評估

Question

我運行查詢，並希望評估性能（執行IME） 我的嘗試：

t0 = time.time() 
df =sqlContext.sql(query) 
df.count() 
t1 = time.time() 

我可以肯定的是，查詢完成，T1-T0是查詢運行時間？

Answer 1

在IBM Analytics for Apache Spark上，在您的筆記本中，轉到「調色板」並選擇「環境」。在那裏你可以看到一個指向Spark History Server的鏈接，你可以在其中調查你的Spark工作。

對於每個Spark作業列出計算時間。