Spark程序來監視執行程序的性能

Question

我正在開發一個監視每個執行程序性能的火花程序，例如當一個執行程序開始工作時以及完成其工作時標記。我正在考慮兩種方式來做到這一點：

首先，開發程序，這樣當執行程序開始工作時，它將當前時間標記爲文件，當它結束時，將該時間標記爲同一文件。最後，除了驅動程序機器之外，所有「日誌」文件都將散佈在整個集羣網絡中。其次，由於執行者會定期向駕駛員報告，每次駕駛員收到來自執行者的消息時，如果消息包含「開始」和「完成」信息，讓駕駛員記錄一切。

這可能嗎？

Answer 1

有很多方法來監測執行性能和應用性能

最佳方式是星火的Web UI和其他監控工具的幫助下可用的開源（神經節）

需要監視監視您的應用程序，無論您的羣集是否處於未充分利用狀態，或者您創建的應用程序使用了多少資源。

監測可以使用各種工具完成，例如。神經節神經節從你可以找到CPU，內存和網絡使用情況。基於對CPU和內存使用情況的觀察，你可以得到一個更好的主意，需要什麼樣的調整，爲您的應用程序

希望這有助於！ ...