2011-05-18 71 views
0

我有越來越地圖問題/減少例如對cygwin的工作:http://www.michael-noll.com/tutorials/writing-an-hadoop-mapreduce-program-in-python/cygwin的hadoop的地圖,減少問題

在cygwin下,傳遞-mapper = mapper.py導致「CreateProcess的錯誤= 193,%1不是一個有效的Win32應用程序」

我嘗試使用-mapper = 「蟒蛇mapper.py」,它給錯誤:了java.lang.RuntimeException:PipeMapRed.waitOutputThreads():子進程失敗,代碼1

任何人有成功運行hadoop map/reduce在cygwin下使用python?

謝謝。

回答

1

我已經在Cygwin下的該教程中取得了成功。我在WinXP上使用Cygwin 1.7.9-1下的hadoop-0.20.2。我還沒有看到您的確切消息......但我正在回答,因爲我確實在-mapper選項中遇到了一些麻煩,並通過將python腳本放在/ tmp目錄中解決了這個問題。我看到一些錯誤消息,這讓我認爲有關如何在Cygwin下命名/ home目錄存在一些困惑。我決定避免使用/ tmp並取得成功。我也用單引號,順便說一句。有時在Windows中粘貼雙引號會給你一個Unix進程無法理解的字符。

順便說一句,我也使用了教程re。讓Hadoop進入Cygwin和Eclipse這裏: http://ebiquity.umbc.edu/Tutorials/Hadoop/ Eclipse/java的東西接近尾聲並不適合我,而不是我打算如何使用Hadoop。然而,前幾個步驟有助於獲得僞羣集。