彈性地圖減少錯誤

Question

我使用Elastic Map Reduce時出現錯誤，我不確定它是什麼意思，因爲它不是很具描述性。我想知道具體是什麼樣的JSONDecodeError。 「12」不是描述性的。這是輸出。我正在使用MRjob類

writing to step-0-mapper_part-00000 
writing to step-0-mapper_part-00001 
Counters from step 1: 
    Undecodable input: 
    JSONDecodeError: 12 
    Unencodable output: 
    TypeError: 2 
writing to /tmp/emr_irene.ec2-user.20130716.171313.288877/step-0-mapper-sorted 
> sort /tmp/emr_irene.ec2-user.20130716.171313.288877/step-0-mapper_part-00000 /tmp/emr_irene.ec2-  user.20130716.171313.288877/step-0-mapper_part-00001 
writing to step-0-reducer_part-00000 
Counters from step 1: 
Undecodable input: 
JSONDecodeError: 12 
Unencodable output: 
    TypeError: 2 

Answer 1

在這種情況下的數字12是你有json編碼錯誤的數量。要明確爲什麼他們失敗的最好方式，我知道如何通過減少輸入設置和通過重新運行作業來確定問題的三角形。

Answer 2

如果你在亞馬遜AWS的工作，你可以運行下面的腳本，你會得到你的錯誤的詳細信息：

python -m mrjob.tools.emr.fetch_logs --find-failure YOUR_JOB_ID