獲取錯誤apche的豬在紗線行走時「org.apache.hadoop.ipc.Client - 重試連接到服務器：tasktracker3/10.201.2.169：50000」

我運行的Apache豬0.11.2用Hadoop 2.2.0。獲取錯誤apche的豬在紗線行走時「org.apache.hadoop.ipc.Client - 重試連接到服務器：tasktracker3/10.201.2.169：50000」

，我在豬運行的大多數簡單的工作完全正常工作。

然而，每當我試圖在大數據集使用GROUP BY，或LIMIT運營商，我得到這些連接錯誤：

2013年12月18日11：21：28,400 [ main] INFO org.apache.hadoop.ipc.Client - 重試連接到服務器：tasktracker2/10.201.2.145：54957。已嘗試0次（s）;重試策略是 RetryUpToMaximumCountWithFixedSleep（maxRetries = 3，休眠時間= 1秒） 2013年12月18日11：21：29402 [主要] INFO org.apache.hadoop.ipc.Client - 重試連接到服務器：tasktracker2/10.201。 2.145：54957。已經嘗試過1次;重試策略是 RetryUpToMaximumCountWithFixedSleep（maxRetries = 3，休眠時間= 1秒） 2013年12月18日11：21：30403 [主要] INFO org.apache.hadoop.ipc.Client - 重試連接到服務器：tasktracker2/10.201。 2.145：54957。已經嘗試過2次; RetryUpToMaximumCountWithFixedSleep（maxRetries = 3，sleepTime = 1 SECONDS） 2013-12-18 11:21:30,507 [main] INFO org.apache.hadoop.mapred.ClientServiceDelegate - 應用程序狀態爲已完成。 FinalApplicationStatus =成功。重定向到作業歷史記錄服務器2013-12-18 11:21:31,703 [main] INFO org.apache.hadoop.ipc.Client - 重試連接到服務器： tasktracker1/10.201.2.20：49528。已經嘗試0次（s）;重試策略是RetryUpToMaximumCountWithFixedSleep（maxRetries = 3，休眠時間= 1 秒），2013年12月18日11：21：32704 [主要] INFO org.apache.hadoop.ipc.Client - 重試連接到服務器： tasktracker1/10.201 .2.20：49528。已經嘗試過1次;重試策略是RetryUpToMaximumCountWithFixedSleep（maxRetries = 3，休眠時間= 1 秒），2013年12月18日11：21：33705 [主要] INFO org.apache.hadoop.ipc.Client - 重試連接到服務器： tasktracker1/10.201 .2.20：49528。已經嘗試過2次（s）;重試策略是RetryUpToToMaximumCountWithFixedSleep（maxRetries = 3，sleepTime = 1 SECONDS）2013-12-18 11:21:33,809 [main] INFO org.apache.hadoop.mapred.ClientServiceDelegate - 應用程序狀態爲已完成。 FinalApplicationStatus =成功。重定向到工作歷史服務器2013年12月18日11：21：34890 [主] INFO org.apache.hadoop.ipc.Client - 重試連接到服務器： tasktracker3/10.201.2.169：50000。已經嘗試0次（s）;重試策略是RetryUpToMaximumCountWithFixedSleep（maxRetries = 3，休眠時間= 1 秒），2013年12月18日11：21：35891 [主要] INFO org.apache.hadoop.ipc.Client - 重試連接到服務器： tasktracker3/10.201 .2.169：50000。已經嘗試過1次;重試策略是RetryUpToMaximumCountWithFixedSleep（maxRetries = 3，休眠時間= 1 秒），2013年12月18日11：21：36893 [主要] INFO org.apache.hadoop.ipc.Client - 重試連接到服務器： tasktracker3/10.201 .2.169：50000。已經嘗試過2次（s）;重試策略是RetryUpToToMaximumCountWithFixedSleep（maxRetries = 3，sleepTime = 1 SECONDS）2013-12-18 11:21:36,996 [main] INFO org.apache.hadoop.mapred。ClientServiceDelegate - 應用程序狀態爲已完成。 FinalApplicationStatus =成功。重定向到工作歷史服務器2013年12月18日11：21：37152 [主] INFO org.apache.hadoop.mapred.ClientServiceDelegate - 應用程序狀態完成。 FinalApplicationStatus =成功。重定向到工作歷史服務器

奇怪的是，這些錯誤保持約分鐘出現了之後，他們就會停止，並在底部正確的輸出顯示出來。

所以，Hadoop是運行良好，並計算適當的輸出。問題在於這些連接錯誤一直在彈出。並導致腳本的執行時間增加。我已經注意到

的一件事是，每當出現這種錯誤，作業創造和作業期間多個JAR文件。但是，在彈出這些消息幾分鐘後，終於出現正確的輸出。

我有5個節點集羣1個名稱節點和數據管理部4。所有的守護進程都運行良好。

任何建議如何擺脫這些消息的？

來源

2013-12-18 akki.verma22

看起來你的工作經歷服務器沒有運行。

開啓日誌聚合（您可能已經這樣做了，你就只缺少服務器） - 把這個給你yarn-site.xml：
```
<property> 
    <name>yarn.log-aggregation-enable</name> 
    <value>true</value> 
</property> 
```

運行作業歷史服務器：

$HADOOP_INSTALL/sbin/mr-jobhistory-daemon.sh start historyserver

嘗試運行豬腳本再次

來源

2014-06-03 19:37:54

獲取錯誤apche的豬在紗線行走時「org.apache.hadoop.ipc.Client - 重試連接到服務器：tasktracker3/10.201.2.169：50000」

回答

相關問題