如何將JMX控制檯遠程連接到Spark流應用程序

Question

我有一個Spark串流應用程序以紗線羣集模式讀取卡夫卡話題。

我想將JMXConsole或Java visualvm連接到Cloudera發行版中的這些遠程進程以收集一些性能基準測試。

我該怎麼做呢？

Answer 1

我這樣做是設置/添加以下屬性（也開始飛行記錄器）方式： spark.executor.extraJavaOptions=-XX:+UnlockCommercialFeatures -XX:+FlightRecorder -Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.port=0

如果你只有一個工人在每個箱子上運行，你可以設置端口爲固定。如果你有多個，那麼你需要使用端口0，並使用lsof來查找分配了哪個端口。