大數據分析。 Elasticsearch，Logstash，Kibana，MRTG

所以，我必須想出一個辦法，使大量用戶數據「可讀」的，並想知道如果有人能使用的東西elasticsearch + kibana的方法之間指出的區別與使用諸如MRTG之類的東西。什麼更適合於更關注趨勢的數據分析？大數據分析。 Elasticsearch，Logstash，Kibana，MRTG

來源

2014-10-22 Juan David Castellanos

您提到的兩種方法適用於完全不同類型的數據。如果您的數據包含一系列常規時間戳的度量值（例如來自路由器接口的5分鐘流量速率樣本或來自溫度傳感器的1分鐘樣本），那麼MRTG（或更確切地說，是RRDTool，它是後端數據庫）非常適合這樣做。如果數據不規則，仍然有可能，但是您需要對RRDTool數據庫設置進行一些自定義以避免大量「未知」區域。 RRDTool能夠對您記錄的指標進行趨勢分析，但這不是通過MRTG完成的 - 您需要直接調用RRDTool函數。

如果您的數據是文本日誌條目（事件）的不規則序列，可能包含可解析的位置數據，並且您在查看單個事件之前更深入瞭解事件的數量或速率，Logstash/Kibana是要走的路。他們會爲您提供一段時間內事件率的圖表，但我認爲他們不能提供趨勢分析。此外，他們不提供嵌入在事件日誌文本中的解析數據的圖形分析。 Logstash/kibana非常適用於Syslog，Eventlog，應用程序日誌（如Apache日誌）等，您可以在這裏查看一段時間內匹配特定模式的事件的模式。

你沒有提供有關數據的實際性質足夠的信息，也沒有什麼樣的用戶需要「讀取」分析的，所以這是一定的能力的高度概括。

來源

2014-10-22 23:15:07

我可以給你舉個例子：我有從這個數據一種設備類型，我知道一段時間內有多少次檢查和違規（這段時間是我選擇的，這取決於我如何彙總數據，是的，這是時間戳）。我想繪製這個圖表並解釋數據，以便我們可以識別模式以避免大問題（太多違規，沒有限制檢查）。謝謝你的回答。 – 2014-10-23 11:12:49

如果您有一些時間戳數據（通常爲定期間隔），並且自上次採樣以來已有違規計數，那麼對於使用「ABSOLUTE」數據類型的MRTG/RRDTool來說，這將是最佳選擇，這會將其轉換爲違規/秒，然後您可以總結並隨時間變化。但是，如果您已經爲每次違規生成了一個日誌條目，那麼Elasticsearch可能會更合適。 – 2014-10-23 20:45:16

謝謝你的幫助！ – 2014-11-03 14:50:17

Elasticsearch對於存儲結構化數據（如文本）非常有效。 Logstash的用例是如何爲有效查詢構造數據的一個例子。

MRTG/RRD是一種用於測量時間間隔數據的工具。每X時間單位，對數值Y.MRTG/RRD對存儲文本無效，它的作業不會觸及Elasticsearch的用例。

如果您已經安裝並運行了Logstash，Graphite可能是一個考慮工具。 Logstash可以將事件觸發到Graphite或Statsd以及將事件數據存儲在ElasticSearch中。關於Graphite/Carbon的好處在於它不像MRTG那樣與時間間隔相關聯。您可以儘可能多地將信息發佈到Graphite，或者不常用。

您在其他答案中給出的用例將是Graphite或類似工具的絕佳應用。您可以在Graphite中繪製和報告許多基於值的事件，然後使用Elasticsearch將數據關聯回事件。（我的意思並不是說有一個與ES和石墨，只是如果你使用Logstash推事件，時代也就容易尋找整合。）

來源

2014-10-29 05:38:49 Mutant

我想我剛剛意識到你是基於事件查詢詢問Kibana的繪圖能力，不是嗎？ – Mutant 2014-10-29 05:41:46

大數據分析。 Elasticsearch，Logstash，Kibana，MRTG

回答

相關問題