特別長豬作業開始時間

Question

一頭豬腳本（不是特別複雜得多，我已經建立的任何其他人）在作業開始前，似乎在這個循環很長一段時間：

2013-10-08 10:46:07,655 [main] INFO org.apache.hadoop.mapreduce.lib.input.FileInputFormat - Total input paths to process : 10 
2013-10-08 10:46:07,659 [main] INFO org.apache.pig.backend.hadoop.executionengine.util.MapRedUtil - Total input paths to process : 10 
2013-10-08 10:46:09,168 [main] INFO org.apache.hadoop.mapreduce.lib.input.FileInputFormat - Total input paths to process : 10 
2013-10-08 10:46:09,168 [main] INFO org.apache.pig.backend.hadoop.executionengine.util.MapRedUtil - Total input paths to process : 10 
2013-10-08 10:46:11,381 [main] INFO org.apache.hadoop.mapreduce.lib.input.FileInputFormat - Total input paths to process : 10 
2013-10-08 10:46:11,381 [main] INFO org.apache.pig.backend.hadoop.executionengine.util.MapRedUtil - Total input paths to process : 10 
2013-10-08 10:46:13,875 [main] INFO org.apache.hadoop.mapreduce.lib.input.FileInputFormat - Total input paths to process : 10 
2013-10-08 10:46:13,875 [main] INFO org.apache.pig.backend.hadoop.executionengine.util.MapRedUtil - Total input paths to process : 10 
2013-10-08 10:46:16,303 [main] INFO org.apache.hadoop.mapreduce.lib.input.FileInputFormat - Total input paths to process : 10 

它重複上述大約4分鐘，通常這個步驟在幾秒鐘內完成。我一直無法確定原因 - 除了刪除部分腳本外，這個問題似乎並不是由腳本的任何特定部分引起的。我還有其他腳本像這個一樣複雜，我沒有這個問題。什麼可能導致這個問題？

Answer 1

如果沒有更多信息，我不能肯定地說，但看起來豬正在等待羣集的JobTracker開始運行由腳本生成的底層Map/Reduce作業。有很多原因會導致這種情況發生，例如運行在資源不足的共享集羣上。您很可能必須查看您的羣集的JobTracker和/或TaskTracker以瞭解確切的原因。