reducer只是不會開始在hadoop streaming

我不知道發生了什麼，但我寫了一個簡單的映射器和reducer腳本。reducer只是不會開始在hadoop streaming

我正在測試它對一個小數據集（如幾行）。

由於某種原因reducer只是沒有啓動..和mapper一次又一次地執行？

12/11/20 09:21:18 INFO streaming.StreamJob: map 0% reduce 0% 
12/11/20 09:22:05 INFO streaming.StreamJob: map 50% reduce 0% 
12/11/20 09:22:10 INFO streaming.StreamJob: map 100% reduce 0% 
12/11/20 09:32:05 INFO streaming.StreamJob: map 50% reduce 0% 
12/11/20 09:32:11 INFO streaming.StreamJob: map 0% reduce 0% 
12/11/20 09:32:20 INFO streaming.StreamJob: map 50% reduce 0% 
12/11/20 09:32:31 INFO streaming.StreamJob: map 100% reduce 0% 
12/11/20 09:42:20 INFO streaming.StreamJob: map 50% reduce 0% 
12/11/20 09:42:31 INFO streaming.StreamJob: map 0% reduce 0% 
12/11/20 09:42:32 INFO streaming.StreamJob: map 50% reduce 0% 
12/11/20 09:42:50 INFO streaming.StreamJob: map 100% reduce 0%

讓我知道你是否也想要代碼。任何我要去哪裏的線索都是錯誤的？謝謝

來源

2012-11-20 Fraz

好的。我的壞..

錯誤是在我的家當，我剛

#!/usr/bin/env

，而不是

#!/usr/bin/env python

該訣竅:)

雖然會很感興趣知道爲什麼映射器一次又一次地運行，如果我從shebang跳過python ..

來源

2012-11-20 17:01:58 Fraz

Hadoop可能會重新運行因爲Hadoop會將任務視爲FAILED，因爲您的shell在嘗試運行腳本時會返回非零的退出代碼。 –

reducer只是不會開始在hadoop streaming

回答

相關問題