MapReduce作業失敗 - 線程「main」中的異常java.io.IOException：java.net.ConnectException

我正在Hadoop上運行一個簡單的計數程序。我的輸入文件大小爲4 GB。出於某種原因，工作不斷與錯誤失敗：MapReduce作業失敗 - 線程「main」中的異常java.io.IOException：java.net.ConnectException

但是，如果我嘗試相同的代碼用小輸入文件說100MB，它完美的罰款。我是新來的，我似乎無法找到任何可行的解決方案。我的設置是Psuedo Distributed。

我是否需要進行任何配置更改？我已經制作了Hadoop文檔提供的Psuedo分佈式設置的標準配置。

任何幫助將不勝感激。

來源

2017-04-12 Shruti Srivastava

從發佈的錯誤堆棧跟蹤中，ConnectionRefused例外是針對JobHistoryServer的。

對於僞分佈式設置，無需進行配置更改即可啓動JobHistoryServer。使用此命令啓動它，

$HADOOP_HOME/sbin/mr-jobhistory-daemon.sh start historyserver

來源

2017-04-12 14:44:33 franklinsijo

非常感謝！有效。我仍然不確定爲什麼這是必需的或MapReduce程序運行。是否因爲文件的大小太大？ @franklinsijo能否請你澄清一下，或者指出我可以獲得這些信息的方向。 –

@ShrutiSrivastava典型的MR作業可以在沒有'JHS'的情況下運行。這很奇怪，爲什麼在數據量巨大的情況下需要它。我已經在沒有JHS的情況下以更大的體積運行工作。它實際上是Job客戶端嘗試訪問AM以獲取作業的狀態，如果作業完成，AM會將傳入的請求重定向到JHS。如果JHS未運行，則拋出此異常。在「豬」中很常見。您是否使用任何自定義JobClient提交作業？ – franklinsijo

哦，是的，我看到這個問題的大部分解釋都與豬有關。這很奇怪，我認爲這可能是因爲輸入的大小，感謝您的解釋。並且，我沒有使用任何自定義的JobClient。 –

MapReduce作業失敗 - 線程「main」中的異常java.io.IOException：java.net.ConnectException

回答

相關問題