0

在本地模式下運行spark sql作業時,我的Spark UI具有一個SQL選項卡。運行EMR Spark腳本,並且Spark UI SQL選項卡消失

enter image description here

當運行在AWS EMR,同樣的工作星火UI的SQL作業已不再存在?

enter image description here

  • 我SSH隧道
  • 設置的FoxyProxy設置
  • 可以查看各種EMR UI的瀏覽器
  • 可以在瀏覽器中查看星火UI

有沒有代碼原因,爲什麼這不會在Amazon的EMR版本的Spark UI中存在?

回答

0

在EMR中Spark有兩種不同的UI:1. Spark UI和2. Spark歷史記錄服務器。

它們看起來是一樣的,但是它們來自不同的URL,並且其中一個應用程序完成後仍會繼續提供服務,只要EMR羣集仍處於運行狀態即可。

歷史記錄服務器AFAIK沒有SQL選項卡