0
如果我有一個從多個csv文件讀取並生成鍵值對的map.py文件，如何將這些文件傳遞給我的reducer.py並在本地進行測試？如何在本地測試地圖並減少代碼？
A
回答
1
如果您正在使用Hadoop流，那麼你就可以在本地測試你的腳本是這樣的：
cat *.csv | map.py | sort -k1,1 | reducer.py
從映射數據傳遞到減速機在Hadoop的數據流，簡單地寫"<key>\t<value>"到stdout
+0
這就是我所解決的。但是使用sort -n – Shehryar
相關問題
- 1. 地圖減少煙霧測試錯誤
- 2. 地圖減少地圖減少
- 3. 我如何調試Hadoop地圖減少
- 4. 節點 - 本地地圖減少工作
- 5. 如何在本地測試併發？
- 6. mongoDB地圖/減少
- 7. Hadoop YARN作業在地圖0％處減少並減少0％
- 8. 地圖在RavenDb減少
- 9. 試圖在本地複製Codepen代碼
- 10. 如何在地圖上執行地圖縮減在mongodb中減少結果
- 11. 如何填充地圖 - 減少結果
- 12. 本地測試併發
- 13. 視圖如何減少代碼重複？
- 14. Hadoop地圖減少：算法
- 15. mongodb的地圖減少value.count
- 16. 地圖減少沒有hadoop
- 17. 搜索地圖/減少
- 18. Hadoop的 - 地圖-減少 - java.lang.NoClassDefFoundError
- 19. 結合地圖和減少
- 20. 地圖時間戳減少
- 21. 加入地圖減少
- 22. hadoop - 地圖/減少功能
- 23. 減少地圖元組
- 24. 瞭解地圖 - 減少
- 25. Hadoop地圖/減少鏈接
- 26. 遷移減少到地圖
- 27. 地圖，減少多個鍵
- 28. 如何減少此代碼？
- 29. 如何減少Ruby代碼？
- 30. 如何減少PHP代碼？
安裝的Hadoop在僞模式 – BruceWayne