在發貨方節點中使用Logstash/Redis的日誌保證交貨

您認爲關於在每個Logstash發貨方節點中放置Redis以保證日誌傳送有保證的人，您認爲哪些人？在發貨方節點中使用Logstash/Redis的日誌保證交貨

2014-08-28 Ben

您能更清楚地描述您的問題嗎？目前爲止，logstash建議redis可以放在索引器節點上。 – 2014-08-29 02:34:40

Logstash建議在索引器節點使用redis進行負載平衡。 – Ben 2014-08-30 12:48:10

我的擔心是關於可靠的運輸，我不想使用經典的RELP/rsyslog。任何建議確保沒有日誌丟失？ – Ben 2014-08-30 12:55:26

如果您使用logstash或logstash-forwarder作爲託運人進入集中式logstash，那麼通常不需要像redis這樣的代理。託運人將檢測logstash何時無法接受更多事件。它將保持一個指向當前日誌位置的指針，並在瓶頸被移除時繼續。

如果您有不緩衝的日誌（syslog，snmptrap等），那麼代理是有道理的。

2015-05-30 00:32:18

從Elasticsearch或Hadoop存儲的角度來看，沒有任何形式的保證（產生下游事件）。這是一個有許多故障點的分佈式系統。不幸的是，您需要處理可靠性和恢復。有一個CR正在等待logstash來改善現狀。

儘管如此，logstash充當發起者或下游系統的事件的聚集。您需要根據您的系統設計和SLA解決可靠性問題。如果您使用的是像Splunk這樣的完整堆棧產品，問題將由供應商處理（至少我被告知但尚未自行測試））

2016-01-03 18:47:56 YaRiK

回答