0
管道的數據輸入來自數據庫或Web記錄器。管道處理它並放入HDFS並將數據移動到NoSQL數據庫。監測系統將監測這個端到端。如何在Hadoop集羣中設置數據管道監控系統？
A
回答
0
您可以考慮使用ELK堆棧（ElasticSearch，Logstash，Kibana）。在每個節點上，接收，處理並插入到數據庫中，請查看您是否可以添加關於您要處理的每個文件/記錄的日誌。
您可以在每個節點上部署logstash併爲其編寫解析邏輯，將它們寫入ElasticSearch並使用Kibana可視化這些邏輯。
您還可以考慮使用Elastic.co的Watcher插件在出現錯誤時生成警報。
以下是一些可供您開始使用的鏈接。
相關問題
- 1. 設置hadoop集羣
- 2. 在混合操作系統上設置Hadoop集羣
- 3. Nagios監控hadoop集羣的腳本
- 4. Ganglia監控Hadoop多節點羣集
- 5. 如何設置hadoop集羣優先級？
- 6. Hadoop多主集羣設置
- 7. 設置（Windows）Hadoop集羣
- 8. 在集羣中監控mongoDB
- 9. 設置Shinken系統監控WebUI部分
- 10. 在同一個系統管理員管理的大數據集羣（Hadoop，Spark等）中是否有副本？
- 11. 如何管理的Hadoop集羣
- 12. 電子郵件管道系統設置
- 13. 監控cassandra集羣
- 14. Cassandra集羣監控
- 15. 如何創建具有不同操作系統的Hadoop集羣？
- 16. 可插拔的集羣管理系統
- 17. 在hadoop集羣上監控有節點的磁盤I/O
- 18. Hadoop單節點集羣設置問題
- 19. 自動設置多節點Hadoop集羣
- 20. 設置3節點hadoop羣集
- 21. Hadoop的多節點集羣設置
- 22. 在長時間運行的EMR集羣上設置AWS數據管道
- 23. 下拉在監控系統預置
- 24. 管道系統（）？
- 25. 如何管理配置以連接到多個Hadoop集羣？
- 26. hadoop集羣中的數據複製
- 27. 在hadoop集羣之間傳輸數據
- 28. 如何使用Solr在hadoop集羣中搜索數據庫
- 29. Hadoop的處理時間在集羣和獨立系統
- 30. 在ubuntu 14.04 hadoop 2.6中運行hadoop程序單節點集羣設置hadoop 2.6