如何測量Spark Standalone集羣中節點之間的通信？

Question

我使用Spark Standalone Cluster，我想知道多少信息節點相互發送。我怎麼測量它？

Answer 1

您可能需要使用像zabbix這樣的完整監控系統來收集所有節點的信息。

另外，如果您對節點之間發送數據的事實感興趣，則可以查看驅動程序的UI（通常位於4040端口）。檢查每個任務的本地化級別，如果您找到「ANY」，則表示可能在工作節點之間傳輸數據。

Answer 2

你可以監視像ganglia和nagios那樣的工具。我個人認爲我去神經節。