Kibana，適用於大數據環境的Logstash

Question

我們可以使用Logstash和Kibana進行大數據分析嗎？

我將使用Hadoop來存儲我的數據。在嘗試任何事情之前，我想知道是否有人已經嘗試過。

Answer 1

你的數據有多大？

現在，我使用Logstash + ElasticSearch + Kibana分析超過50 GB的日誌數據。

Elasticsearch還與Hadoop集成。
檢查這個鏈接：http://www.elasticsearch.org/overview/hadoop/

Answer 2

我實際上把HDFS + ElasticSearch + Kibana + Logstash使用Hive工作。它工作得很好。 儘管如果您試圖從ElasticSearch將數據加載到Hive中，但沒有正確聲明數據類型，您可能會在數據上獲得NULL值。

--- Hive Coonection ---
確保es-hadoop-hive-2.0.2.jar和es-hadoop-2.0.2.jar文件位於您的Hive目錄中。

請按照ElasticSearch網站上的文檔獲取更多詳細信息。

Answer 3

125GB（猜測）一週內的1k個文檔大約爲200個/秒，這對任何logstash/elasticsearch配置都是沒有問題的索引。

去弄6個機：

• 3 elasticsearch數據節點，與每個RAM 64GB。
• 三臺運行elasticsearch主節點的機器（RAM要求低得多）。這些也可以是客戶端節點（用於索引和搜索請求），並且可以運行logstash，而kibana則可以增強它們的一點點。