可以將Kafka用作oracle和elasticsearch之間的消息服務

Question

可以將Kafka用作oracle和彈性搜索之間的消息傳遞服務嗎？這種方法的缺點？

Answer 1

我以前用Sql服務器而不是Oracle試過這個，它工作的很好，我相信你可以用同樣的方法用Oracle，因爲我知道我將在下面描述的logstash JDBC插件已經支持Oracle DB。

所以基本上你需要一個Logstash JDBC輸入插件https://www.elastic.co/guide/en/logstash/current/plugins-inputs-jdbc.html，它指向你的Oracle數據庫實例，並使用Kafka輸出插件https://www.elastic.co/guide/en/logstash/current/plugins-outputs-kafka.html將行推送到Kafka。

現在要從Kafka中讀取您需要的另一個Logstash實例（這是索引器）並使用Kafka輸入插件https://www.elastic.co/guide/en/logstash/current/plugins-inputs-kafka.html。最後，使用Logstash索引器配置文件中的彈性搜索輸出插件將事件推送到Elastic Search。

所以管道是這樣的， 甲骨文 - > Logstash託運人 - >卡夫卡 - > Logstash索引 - >彈性搜索。

因此總體而言，我認爲這是一種將事件從數據庫推送到彈性搜索的可伸縮方式。現在，如果你看看缺點，有時你會覺得管道中有太多的組件，並且可能會令人沮喪，尤其是在發生故障時。因此，您需要在每個級別進行適當的控制和監視，以確保您具有上述功能的數據聚合管道。試試看，祝你好運！

Answer 2

Kafka Connect爲您提供了JDBC Source和Elasticsearch Sink。

我知道沒有缺點，除了服務維護。

隨意使用Logstash代替，但是Kafka provides better resiliency和可擴展性。