集羣模式下的Spark-submit使應用程序視圖不可用？

我使用Jenkins以--deploy-mode cluster設置每小時運行。推薦方法嗎？因爲有些東西似乎不起作用。集羣模式下的Spark-submit使應用程序視圖不可用？

當我到我的火花服務器，並按下應用程序的名稱，它會嘗試去那個端口（這是防火牆），而不是服務器上我的電腦。由於在這種模式下立即返回，我希望能夠在火花大師看到這一點。

此外，我似乎無法打開DAG。那是相關的嗎？

完整的命令我用的是spark-submit --master spark://mysparkserver:6066 --deploy-mode cluster --class someClass --conf spark.driver.userClassPathFirst=true http://theJarUrl

來源

2016-02-22 Alex

找到了！儘管您可以在火花大師上啓用事件日誌記錄，但您還需要使用--conf spark.eventLog.enabled=true --conf spark.eventLog.dir=/opt/spark/spark-events在中指定它。在點擊應用程序名稱後，您可以在spark-master上觀看事件。它還將啓用檢查完成的應用程序。

儘管DAG可視化仍然不適合我。如果有人對此有任何建議，請發表評論。

來源

2016-02-22 13:38:49 Alex

你是什麼意思的「DAG可視化仍然不適合我」 - 你在看什麼？ –

一堆空的點，而不是DAG。當我在loca模式下點燃時，它確實起作用。 https://s3-eu-west-1.amazonaws.com/uploads-eu.hipchat.com/65597/456874/PU66TrvQjHNsPQt/Screen%20Shot%202016-02-22%20at%2020.23.33.png – Alex

我'我也看到了這一點 - 找不到解決方案，但我有一個解決方法：當我切換到不同的瀏覽器時它工作:) –

集羣模式下的Spark-submit使應用程序視圖不可用？

回答

相關問題