2016-08-31 186 views
0

因爲我在遠程計算機上運行了Spark應用程序,並且想查看進度,因此我需要訪問以從瀏覽器中觸發Web UI。如何從遠程計算機訪問本地計算機上的瀏覽器

我該怎麼做才能在我的本地機器上運行我的瀏覽器firefox,從我運行我的spark應用程序的遠程機器上運行?

如果遙遠的(遠程)一個具有IP地址:

192.yy.yy.yy 

知道,我用它來訪問遠程機器從我的本地一個

ssh [email protected] 

PS:我可以與互動遠程機器僅使用命令。

回答

1

每個SparkContext都會啓動一個Web UI,默認情況下在端口4040上顯示有關應用程序的有用信息。這包括:

  • 調度階段和任務
  • RDD大小和內存使用情況
  • 環境信息的彙總列表。
  • 有關運行執行人

信息您可以通過簡單地在Web瀏覽器中打開http://192.yy.yy.yy:4040訪問此接口。如果多個SparkContexts在同一主機上運行,​​它們將綁定到以4040(4041,4042等)開頭的連續端口。

來源:Monitoring Spark

現在你之間有一個管理服務器,您需要創建隧道訪問火花UI,創建隧道使用ssh -L 4041:192.yy.yy.yy:4041 [email protected]然後通過localhost:4041

+0

我應該使用哪一個IP地址的,因爲當我使用「的ifconfig」我得到「192.yy.yy.yy」和母雞我使用「主機名-II得到完全地其他地址'10。 xx.xx.xx? – hammad

+0

@hammad ip你的遠程機器上運行spark,你通過ssh [email protected]連接到遠程機器,所以試試xx.xx.xx.xx:4040 – banjara

+0

它是一個集羣,所以我通過ssh [email protected]訪問僅用於管理集羣的節點(我無法在其上啓動spark),然後使用'ssh Node1'啓動spark和進程,並且Node1具有'ifconfigip = 192.yy.yy.yy'和'hostname -i-ip = '10 .xx.xx.xx – hammad

1

你只需要訪問火花UI將UI端口從服務器轉發到本地

ssh -L 4040:localhost:4040 [email protected] 

在本地機器中,只需轉到address localhost:4040即可查看進度。

裁判:https://unix.stackexchange.com/questions/115897/whats-ssh-port-forwarding-and-whats-the-difference-between-ssh-local-and-remot

+0

好的,我會試試這個謝謝你 – hammad

+0

給我一個錯誤說連接失敗:打開失敗:連接失敗:連接被拒絕 通道3:打開失敗:連接失敗:連接被拒絕 通道3:打開失敗:連接失敗:連接被拒絕 – hammad

+0

哪個端口在遠程運行? – giaosudau

相關問題