0
在本地模式下運行spark sql作業時,我的Spark UI具有一個SQL選項卡。運行EMR Spark腳本,並且Spark UI SQL選項卡消失
當運行在AWS EMR,同樣的工作星火UI的SQL作業已不再存在?
- 我SSH隧道
- 設置的FoxyProxy設置
- 可以查看各種EMR UI的瀏覽器
- 可以在瀏覽器中查看星火UI
有沒有代碼原因,爲什麼這不會在Amazon的EMR版本的Spark UI中存在?
在本地模式下運行spark sql作業時,我的Spark UI具有一個SQL選項卡。運行EMR Spark腳本,並且Spark UI SQL選項卡消失
當運行在AWS EMR,同樣的工作星火UI的SQL作業已不再存在?
有沒有代碼原因,爲什麼這不會在Amazon的EMR版本的Spark UI中存在?
在EMR中Spark有兩種不同的UI:1. Spark UI和2. Spark歷史記錄服務器。
它們看起來是一樣的,但是它們來自不同的URL,並且其中一個應用程序完成後仍會繼續提供服務,只要EMR羣集仍處於運行狀態即可。
歷史記錄服務器AFAIK沒有SQL選項卡