2012-12-18 111 views
1

我已經爲我的主/從節點打開了EC2安全組,因此我可以從本地瀏覽器訪問作業跟蹤器界面。我使用http://MASTER-IP:9100連接到它。從Hadoop作業跟蹤器Web界面訪問EMR任務日誌

一切工作順利,直到我試圖從任務的詳細信息訪問任務跟蹤日誌 - http://ec2-xx-xx-xx-xx.compute-1.amazonaws.com:9100/taskdetails.jsp?tipid=task_201212181113_0001_m_000000

我到那裏是內部EC2 IP地址上的鏈接,因此我無法從我的本地機器上訪問它們(鏈接是http://10.116.xxx.xx:9103/tasklog?attemptid=attempt_201212181113_0001_m_000000_0&all=true

有沒有辦法改變EMR,以便這些鏈接將包含任務跟蹤器的公共IP?

謝謝!

回答

2

將所有從站的公有IP及其主機名添加到您的/ etc/hosts文件中。

4

你可以非常輕鬆地做到的是ssh到主節點,從那裏你駕駛室到curl到這個日誌位置。一般來說,我們總是隧道主節點,並通過http://localhost:9100

訪問作業調度器網絡iterface爲了隧道,你可以做到以下幾點:

ssh -i your-pem-file.pem -L 9100:ec2-xx-xx-xx-xx.computamazonaws.com:9100 [email protected] 

,然後通過簡單的curl訪問日誌,是這樣的:

$ curl http://10.116.xxx.xx:9103/tasklog?attemptid=attempt_201212181113_0001_m_000000_0&all=true 

您也可以登錄到您的aws控制檯,並在那裏查找正在運行的ec2實例的列表。從那裏你可以得到你想要的機器日誌的私有IP和相應的公共IP,然後你可以使用這個檢索到的公有IP在日誌的URL中替換私有IP,你就可以走了。

但是第一個解決方案非常簡單,而且我們通常都是這麼做的。

0

嘗試SSH隧道。並使用Firefox-Plugin FoxyProxy。您應該能夠從本地瀏覽器中查看作業跟蹤器界面並瀏覽日誌

相關問題