卡夫卡生產商生產數據的主題從PORT

Question

我是卡夫卡的新手。

我有一臺Linux機器，其中端口號2552從外部服務器獲取數據流。

我想使用卡夫卡生產者來監聽那個端口並獲取數據流到一個主題。

Answer 1

這是一個完整的黑客，而是將工作沙箱例如：

nc -l 2552 | ./bin/kafka-console-producer --broker-list localhost:9092 --topic test_topic 

它使用的netcat監聽TCP端口上，並獲得到卡夫卡的話題管什麼。

一個快速谷歌也出現了這https://github.com/dhanuka84/kafka-connect-tcp這看起來做類似的事情，但更強大的，使用Kafka Connect API。

Answer 2

您不會說2552端口上的流量是TCP還是UDP，但通常情況下，您可以輕鬆編寫一個程序來偵聽該端口，將接收到的數據解析爲離散消息，然後將數據發佈到Kafka主題作爲使用Kafka Producer API的Kafka消息（使用或不使用密鑰）。

在某些情況下，現有的開源代碼可能已經爲您做了這些，所以您不需要從頭開始編寫代碼。如果端口2552協議是衆所周知的協議，例如在IANA中註冊的TCP或UDP呼叫記錄協議（請參閱ftp://www.iana.org/assignments/service-names-port-numbers/service-names-port-numbers.txt），那麼甚至可能存在支持它的現有Kafka連接器或代理。在GitHub上搜索kafka-connect- [協議]，或者查看策劃的連接器列表https://www.confluent.io/product/connectors/

甚至可能有一個通用的TCP或UDP連接器，您可以使用它作爲參考來配置或構建自己的您嘗試攝取的特定協議。