示例映射在python for python中爲腳本生成異常

我正在學習配置單元。我建立了一個名爲records的表格。隨着架構如下：示例映射在python for python中爲腳本生成異常

year  : string 
temperature : int 
quality  : int

下面是示例行

1999 28 3 
2000 28 3 
2001 30 2

現在我寫的完全一樣在書的Hadoop指定的權威指南樣本地圖降低python腳本：

import re 
import sys 

for line in sys.stdin: 
    (year,tmp,q) = line.strip().split() 
    if (tmp != '9999' and re.match("[01459]",q)): 
     print "%s\t%s" % (year,tmp)

我用下面的命令運行這個：

ADD FILE /usr/local/hadoop/programs/sample_mapreduce.py; 
SELECT TRANSFORM(year, temperature, quality) 
USING 'sample_mapreduce.py' 
AS year,temperature;

執行失敗。在終端上，我得到這樣的：

Hadoop job information for Stage-1: number of mappers: 1; number of reducers: 0 
2012-08-23 18:30:28,506 Stage-1 map = 0%, reduce = 0% 
2012-08-23 18:30:59,647 Stage-1 map = 100%, reduce = 100% 
Ended Job = job_201208231754_0005 with errors 
Error during job, obtaining debugging information... 
Examining task ID: task_201208231754_0005_m_000002 (and more) from job job_201208231754_0005 
Exception in thread "Thread-103" java.lang.RuntimeException: Error while reading from task log url 
    at org.apache.hadoop.hive.ql.exec.errors.TaskLogProcessor.getErrors(TaskLogProcessor.java:130) 
    at org.apache.hadoop.hive.ql.exec.JobDebugger.showJobFailDebugInfo(JobDebugger.java:211) 
    at org.apache.hadoop.hive.ql.exec.JobDebugger.run(JobDebugger.java:81) 
    at java.lang.Thread.run(Thread.java:662) 
Caused by: java.io.IOException: Server returned HTTP response code: 400 for URL: http://master:50060/tasklog?taskid=attempt_201208231754_0005_m_000000_2&start=-8193 
    at sun.net.www.protocol.http.HttpURLConnection.getInputStream(HttpURLConnection.java:1436) 
    at java.net.URL.openStream(URL.java:1010) 
    at org.apache.hadoop.hive.ql.exec.errors.TaskLogProcessor.getErrors(TaskLogProcessor.java:120) 
    ... 3 more

我去失敗的任務列表，這是堆棧跟蹤

java.lang.RuntimeException: Hive Runtime Error while closing operators 
    at org.apache.hadoop.hive.ql.exec.ExecMapper.close(ExecMapper.java:226) 
    at org.apache.hadoop.mapred.MapRunner.run(MapRunner.java:57) 
    at org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:436) 
    at org.apache.hadoop.mapred.MapTask.run(MapTask.java:372) 
    at org.apache.hadoop.mapred.Child$4.run(Child.java:255) 
    at java.security.AccessController.doPrivileged(Native Method) 
    at javax.security.auth.Subject.doAs(Subject.java:396) 
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1121) 
    at org.apache.hadoop.mapred.Child.main(Child.java:249) 
Caused by: org.apache.hadoop.hive.ql.metadata.HiveException: Hit error while closing .. 
    at org.apache.hadoop.hive.ql.exec.ScriptOperator.close(ScriptOperator.java:452) 
    at org.apache.hadoop.hive.ql.exec.Operator.close(Operator.java:566) 
    at org.apache.hadoop.hive.ql.exec.Operator.close(Operator.java:566) 
    at org.apache.hadoop.hive.ql.exec.Operator.close(Operator.java:566) 
    at org.apache.hadoop.hive.ql.exec.ExecMapper.close(ExecMapper.java:193) 
    ... 8 more

相同的跟蹤重複的3倍以上。

請有人可以幫助我嗎？這裏有什麼問題？我完全按照這本書。什麼似乎是問題。看起來有兩個錯誤。在終端上它說它無法從任務日誌網址讀取。在失敗的工作清單中，例外情況有所不同。請幫助

來源

2012-08-23 Shades88

我對hadoop/hive沒有任何經驗，所以我不會冒險猜測答案，但做了一個快速實驗，我在單獨運行python腳本並在CLI中鍵入樣本數據行到標準輸入成功 - 從嚴格的python角度來看，代碼可以按預期工作。 – chucksmash

是的，該python腳本是正確的。一定是，它來自一本非常有名的hadoop參考書：D。 – Shades88

感謝您發佈此問題。我正在尋找一個類似的例子。非常便利！ – S4M

我去了hadoop管理界面的stedrr日誌，發現python有語法錯誤。然後我發現，當我創建配置單元表時，字段分隔符是選項卡。並在split()我沒有提到。所以我將其更改爲split('\t')，它工作正常！

來源

2012-08-24 07:44:35 Shades88

我想查詢別人創建的表。我想我可能會遇到你描述的同樣的問題。你知道如何檢查表創建時使用的分隔符嗎？ –

只需使用'describe formatted'並在輸出的底部附近找到'Storage Desc Params：'，它描述了所使用的任何分隔符。

來源

2013-07-27 01:28:46 rgordon0

示例映射在python for python中爲腳本生成異常

回答

相關問題