因爲我在遠程計算機上運行了Spark應用程序,並且想查看進度,因此我需要訪問以從瀏覽器中觸發Web UI。如何從遠程計算機訪問本地計算機上的瀏覽器
我該怎麼做才能在我的本地機器上運行我的瀏覽器firefox,從我運行我的spark應用程序的遠程機器上運行?
如果遙遠的(遠程)一個具有IP地址:
192.yy.yy.yy
知道,我用它來訪問遠程機器從我的本地一個
ssh [email protected]
PS:我可以與互動遠程機器僅使用命令。
因爲我在遠程計算機上運行了Spark應用程序,並且想查看進度,因此我需要訪問以從瀏覽器中觸發Web UI。如何從遠程計算機訪問本地計算機上的瀏覽器
我該怎麼做才能在我的本地機器上運行我的瀏覽器firefox,從我運行我的spark應用程序的遠程機器上運行?
如果遙遠的(遠程)一個具有IP地址:
192.yy.yy.yy
知道,我用它來訪問遠程機器從我的本地一個
ssh [email protected]
PS:我可以與互動遠程機器僅使用命令。
每個SparkContext都會啓動一個Web UI,默認情況下在端口4040上顯示有關應用程序的有用信息。這包括:
信息您可以通過簡單地在Web瀏覽器中打開http://192.yy.yy.yy:4040訪問此接口。如果多個SparkContexts在同一主機上運行,它們將綁定到以4040(4041,4042等)開頭的連續端口。
現在你之間有一個管理服務器,您需要創建隧道訪問火花UI,創建隧道使用ssh -L 4041:192.yy.yy.yy:4041 [email protected]
然後通過localhost:4041
你只需要訪問火花UI將UI端口從服務器轉發到本地
ssh -L 4040:localhost:4040 [email protected]
在本地機器中,只需轉到address localhost:4040即可查看進度。
我應該使用哪一個IP地址的,因爲當我使用「的ifconfig」我得到「192.yy.yy.yy」和母雞我使用「主機名-II得到完全地其他地址'10。 xx.xx.xx? – hammad
@hammad ip你的遠程機器上運行spark,你通過ssh [email protected]連接到遠程機器,所以試試xx.xx.xx.xx:4040 – banjara
它是一個集羣,所以我通過ssh [email protected]訪問僅用於管理集羣的節點(我無法在其上啓動spark),然後使用'ssh Node1'啓動spark和進程,並且Node1具有'ifconfigip = 192.yy.yy.yy'和'hostname -i-ip = '10 .xx.xx.xx – hammad