Kafka Connect的用例

我最近一直在學習關於Kafka的知識，爲了使用框架來發送，接收和存儲我們工作進程的消息，使用python客戶端（pykafka）。我們的信息相當短。Kafka Connect的用例

據我所知，Kafka-Connect位於大量數據的I/O中，但是在哪種情況下使用Connect工具會更好？您需要爲Kafka-Connect發送/接收多少數據？ Kafka-Connect的哪些功能您認爲最有用？

另外，您還有哪些其他框架或庫與Kafka一起使用？

謝謝！

2016-02-29 M. Carlson

Kafka Connect不會提高性能 - 在封面下，Connect框架使用生產者和消費者API。

Connect旨在將Kafka與其他數據系統連接，其中支持輕微的鍵/值轉換（轉換）。該框架提供了開箱即用的容錯和可擴展性。許多現成的連接器已經可用（例如HDFS接收器，JDBC源，許多其他）。如果需要，您可以構建自己的連接器。您可以瞭解更多關於Connect here的信息。

來源

2016-03-01 19:32:47 alexlod

實現一個kafka生產者/消費者與編寫一個kafka連接「連接器」之間的一個主要區別是拉和推模型。使用kafka連接時，連接器將從源系統中提取數據，而如果我們實現了自定義kafka生產者，我們會將數據推送到kafka。如果存在許多不同的源系統，那麼編寫卡夫卡生產者將變得更簡單，而不是將連接器連接到遠程系統並獲取數據。我的理解是正確的嗎？ –

Kafka Connect的用例

回答

相關問題