地圖減少python boto中的多個輸出

Question

我想使用AWS EMR對輸入文件進行分區。 我使用流式步驟從標準輸入讀取。
我想根據stdin的每一行中的特定字段的值將此文件拆分爲2個文件，並將結果輸出存儲到S3中以供稍後使用。 我找不到任何有關如何使用python實現這一目標的文檔。 你能指出我正確的方向嗎？ 我將不勝感激。

謝謝

Answer 1

不完全確定你有什麼問題。這裏有一篇好文章 - http://aws.amazon.com/articles/2294

你的具體問題是，你想創建一個映射器，它將你的文件作爲輸入，並將每行分割成一個鍵，值對（鍵確定它將在哪個輸出文件中），你的減速器將只需輸出這些，一個沒有操作。

映射

#!/usr/bin/python 

def main(): 
    for line in sys.stdin: 
     key = get_my_key(line) 
     value = line 
     print '{}\t{}'.format(key, value) 

if __name__ == "__main__": 
    main() 

減速

#!/usr/bin/python 

def main(): 
    for line in sys.stdin: 
     print line 

if __name__ == "__main__": 
    main() 

當你加入這一步您指定的輸入，輸出（部分S3存儲桶），這些文件作爲mapper和減速。

請注意，有一些配置不能設置縮減器，只是一個映射器任務。我已經包含了以上所有內容，因爲您似乎是初學者