0
我使用Hive來查詢我擁有的數據。問題是，這些數據需要清理，對我來說，在我的計算機上進行處理（因此使用Hadoop和Hive）方式太大了。有沒有辦法讓我用Hive來做到這一點？我研究了用戶定義的函數，但我的理解是它們逐行操作，因此可能不是清理數據的最佳方式。使用Hive清理大數據
謝謝
A
回答
2
您應該使用MapReduce程序清理您的數據。可能連一個減速機都不會增加你的性能。
MapReduce程序就像一個緩衝文件閱讀器，一次讀取一行數據。您可以在每行上執行清理操作，然後將其插入配置單元表中進行查詢。
1
what is your data size?
what is your cleaning operation?
如果您的清潔操作不能在Hive的幫助下完成，那麼只能使用mapreduce/pig。
如果您的問題是配置單元的性能，請嘗試優化它。
優化取決於您的清潔operation.you可以使用distribution cache，map side joins等等
相關問題
- 1. 使用python清理大數據
- 2. 查詢Hive處理的大量數據
- 3. 使用mySqli清理數據
- 4. 使用read.csv清理數據
- 5. Hive表數據管理
- 6. 使用str_ireplace函數清理xml數據
- 7. 使用SQL清理JIRA數據庫
- 8. 使用映射表清理數據
- 9. 使用Python清理文本數據
- 10. 使用Hive會話清理資源關閉
- 11. Python as Hive UDF - 清理異常退出
- 12. HDFS數據大小和Hive數據大小的差異
- 13. 清理數據集
- 14. 清理JSON數據
- 15. R數據清理
- 16. Python清理數據
- 17. 清理SQL數據
- 18. 清理數據R
- 19. 清理JSON數據
- 20. 數據庫清理
- 21. MySQL數據清理
- 22. 如何使用hive/spark-sql生成大型數據集？
- 23. R數據清理失敗：.dat清理數據幀以清理CSV文件
- 24. 從長數據集和大數據集中清理一列
- 25. 使用PySpark處理Hive中的每個組的數據
- 26. 使用Sqoop/Oozie從Hive將數據加載到Hive表
- 27. 在spark中使用hive數據庫
- 28. 使用Hive從文件收集數據
- 29. 用大熊貓丟棄行清理噪音數據
- 30. 使用curl調用數據，並使用grep來清理輸出
謝謝回答我。我最終使用流清理數據 –