FluentD Aggregator - 何時使用？

Question

我們正在考慮使用FluentD將代理& dhcp服務器的Blue Coat日誌事件發送到彈性服務器。其中一個關鍵要求是儘快標出異常值&異常。

對於這樣的要求，使用FluentD Aggregator從多個（可能是數百個）FluentD收集器代理接收事件是否合理？ 或者，讓FluentD代理將事件發送到寫入Elastic的Kafka集羣會更好嗎？

如果我能得到關於何時使用FluentD Aggregator的一些指導方針，這將非常有用。

感謝， Sharod

Answer 1

一般來說，有2個常見的情況。

1 - 當你需要使用幾個插件過濾器 2 - 節流吞吐量目標服務/ DB /等..

插件過濾器消耗了大量的性能。這意味着它可能會影響生成日誌的服務器。 因此，在服務器上流利應該做一個最低限度的工作，將日誌傳輸到聚合器或Kafka或其他東西。

附加使用案例，如果您需要有時重寫配置，您不需要重新啓動服務器上的所有fluentd（如果在聚合服務器中使用過濾器）。

2 - 通常，外部服務/數據庫具有很多限制來更新/插入數據到其存儲。如果很多流利的人試圖頻繁地寫數據，他們會很容易地顯示任何異常。 爲了避免這種情況，應該使用聚合器。