我有一個豬腳本,它激活了另一個python程序。 我可以在自己的hadoop環境中這樣做,但是當我在亞馬遜地圖中運行我的腳本時,我總是失敗減少WS。在亞馬遜Mapreduce中運行的豬腳本中的STREAM關鍵字
日誌說:
org.apache.pig.backend.executionengine.ExecException:ERROR 2090:接收的錯誤在處理減少計劃: '' 失敗,退出狀態:127 在org.apache.pig .backend.hadoop.executionengine.mapReduceLayer.PigMapReduce $ Reduce.runPipeline(PigMapReduce.java:347) at org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.PigMapReduce $ Reduce.processOnePackageOutput(PigMapReduce.java:288) at org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.PigMapReduce $ Reduce.reduce(PigMapReduce.java:260) at org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.PigMapReduce $ Reduce.reduce(PigMapRed uce.java:142) 在org.apache.hadoop.mapred.ReduceTask.run(ReduceTask.java:321) 在org.apache.hadoop.mapred.TaskTracker $ Child.main(TaskTracker.java:2216)
任何想法?
您是否介意顯示您的工作實施?我在同一條船上 - 我可以得到一個python UDF以本地模式運行,但是當我將它部署到我的集羣時失敗。 – 2010-07-15 00:35:02