在elasticsearch中存儲結構化日誌

Question

我們考慮將結構化日誌存儲在elasticsearch中。這是一個剛接觸elasticsearch的人的高層次問題。

我不確定我們是否可以在elasticsearch中索引它們之後刪除結構化日誌。

我沒有看到爲什麼日誌應該保留。他們可以從elasticsearch中重新檢索。

只要我們有足夠的彈性搜索存儲空間，爲什麼我們應該在彈性搜索之外保留一份日誌的副本？

Answer 1

引用文檔：

的_source字段是存儲被用作索引的文檔的實際JSON自動生成的場。它沒有索引（可搜索），只是存儲。

http://www.elasticsearch.org/guide/en/elasticsearch/reference/current/mapping-source-field.html

如果你有elasticsearch的備份，如果你不關閉_source場，你可以刪除/刪除/刪除原來的JSON數據。

N年後，您可以自由將舊的東西從elasticsearch移動到不同的存儲空間。

答：你不需要在其他地方存儲數據。

Answer 2

關於ES結構日誌快速注意......我建議看ELK棧：http://www.elasticsearch.org/webinars/elk-stack-devops-environment/

它採用logstash在運輸原木的中心，這是一個漂亮的嘗試和真正的技術。

要啓動並運行速度非常快，您可以使用爲您安裝ES，logstash和Kibana的Docker鏡像（https://registry.hub.docker.com/u/qnib/elk/）。試圖找出如何自己做這件事，節省了很多麻煩。

至於保持日誌......我只會在一臺機器上保留一小段日誌（2周？）。使用logstash轉發器作爲客戶端（https://github.com/elasticsearch/logstash-forwarder），它會自動爲您轉動日誌。如果ES停機，您會希望機器上的日誌。