從Dataproc集羣上的Spark UI獲取文件時的http代碼302

我啓動了Dataproc集羣，並且在端口4040上使用Web UI時遇到問題。首先顯示spark-shell顯示的IP和端口。然後，當我在Spark UI端口上找到一個URL時，顯示302錯誤代碼。從Dataproc集羣上的Spark UI獲取文件時的http代碼302

wilsonbill522 @ cluster-db78-m：〜$ spark-shell 將默認日誌級別設置爲「WARN」。要調整日誌記錄級別，請使用sc.setLogLevel（newLevel）。對於SparkR，使用setLogLevel（newLevel）。 ivysettings.xml文件中HIVE_HOME或HIVE_CONF_DIR沒有找到，在/ etc /在http://10.128.0.2:4040

使用wget端口4040蜂房/ conf.dist/ivysettings.xml將用於星火背景下的Web UI提供，我得到一個響應與每個URL HTTP代碼302以外的「工作」 URL 例如：

wget的http://10.128.0.2:4040/proxy/application_1505052986245_0002/static/timeline-view.js

不幸的是，因爲計算器決定我張貼鏈接我不能發佈的輸出。但是，上述命令的結果是HTTP 302響應代碼。

上面的wget是在不同的ssh會話中的主節點上執行的。 302響應重定向到「jobs」URL（我無法在此處拼出實際的URL，因爲它會觸發鏈接上的某些限制性計算器），這沒有任何意義。

來源

2017-09-10 bill wilson

如果您瀏覽通過端口8088要經過紗線UI，然後找到相應的紗線應用程序會發生什麼重定向的URL到你的Spark上下文，單擊「應用程序主」來到Spark UI？ –

你還沒有告訴wget重定向到必要的網站 –

我在瀏覽器中訪問了http://10.128.0.2:8088/cluster，它顯示出一些理智的東西。修改我在這個頁面上找到的URL到http://10.128.0.2:8088/proxy/application_1505077572981_0001/似乎是我可能能夠忍受的spark web ui。有什麼我可以做，使端口4040工作，就像它應該？有沒有其他人看到端口4040的這個問題？ –

它看起來像Spark Web UI格式化所有URL相對於YARN資源管理器代理，但它的顯示的某些部分使用了錯誤的主機/端口（具體來說，在火花外殼輸出中顯示的是什麼）。我猜測這是一個在YARN客戶端模式下運行的工件，但我還沒有確定。

至於Dennis Huo提到的，您可以訪問通過紗線RM代理端口8088

來源

2017-09-10 17:31:39

從Dataproc集羣上的Spark UI獲取文件時的http代碼302

回答

相關問題