kafka-producer-api

1熱度

1回答

下面是我在本地的設置：三臺虛擬機（使用Virtualbox），kafka和zookeeper安裝在這三臺服務器上。他們都在互相交談。我想從本地使用kafka-console-producer，它需要代理列表。我提供我的虛擬機的IP，但它似乎並沒有工作。我也嘗試過虛擬機上的advertised.host屬性，但對我沒有任何影響。這裏是我的server.properties從三臺機器：服務器1：

5熱度

1回答

如何在卡夫卡設置郵件的大小？

我目前使用Kafka 0.9.0.1。根據我發現的一些消息來源，設置消息大小的方法是修改server.properties中的以下關鍵值。 message.max.bytes replica.fetch.max.bytes fetch.message.max.bytes 我server.properties文件實際上有這些設置。 message.max.bytes=10485760 replic

4熱度

2回答

kafka新的生產者無法更新元數據後，其中一個經紀人關閉

我有一個kafka環境有2個經紀人和1個動物園管理員。雖然我試圖向卡夫卡發送消息，但是如果我停止代理1（這是領導者之一），則客戶停止生成消息並給我以下錯誤，儘管代理2被選爲該主題的新領導者和partions。 org.apache.kafka.common.errors.TimeoutException：失敗後60000毫秒更新元數據。經過10分鐘後，由於券商2是新的領導我所期望的生產商將數據

1熱度

1回答

爲什麼Kafka Producer無法連接到zookeeper獲取經紀人元數據而不是連接到經紀人

Kafka生產者需要一個kafka經紀人的引導列表才能工作。根據this explanation，它需要能夠連接到其中一個代理，然後獲取有關集羣中所有實時代理的元數據。現在，所有經紀人都已經在Zookeeper中註冊，並且Kafka消費者連接到ZK，該ZK處理哪個經紀人，哪個分區是要讀取的數據。當ZK已經擁有所有信息時，爲什麼生產商不能連接到ZK？我看到這裏有幾個SO問題，但他們似乎解釋了爲

0熱度

1回答

卡夫卡Procuder不使用SSL生成SSL上的消息

我正在嘗試將KAFKA與Spring集成，我的JAVA應用程序正在與KAFKA服務器進行通信，並且我還在使用HTTP運行應用程序時收到消息。現在我想現在使用Spring卡夫卡添加SSL，我已經做了SSL KAFKA指定的變化和SPRING KAFKA 通信情況正常，當我使用命令行（使用SSL）上運行的生產和消費，但當我更改java應用程序的配置，並嘗試生產和消費的主題消息的消費者工作正常，我得到

1熱度

1回答

kafka：無法綁定：主題錯誤

我越來越低於錯誤，當我越來越多的卡夫卡製作人。任何人都有想法在這裏可能是什麼問題？請找我的製作設置： https://gist.github.com/Vibhuti/dbf1c24962b91f2bc217 錯誤日誌： main::catch {...} ("<UNKNOWN> Can't bind: topic = 'testing_producer' at /opt/adp/"...) c

9熱度

3回答

如何爲卡夫卡生產者配置日誌記錄？

我正在使用Kafka生產者客戶端，我的項目中沒有任何log4j配置。在運行時，程序會打印很多我真正不想要的Kafka Debug日誌。所以，我嘗試添加一個log4j.properties設置日誌級別如下錯誤，似乎不工作： log4j.rootLogger=ERROR 如何更改卡夫卡日誌級別？

1熱度

1回答

在kafka中處理代理

我在異步模式下使用kafka生產者，但是當所有代理都關閉時，它的行爲就像同步一樣，並等待metadata.fetch.timeout.ms過期，這對我的情況來說是60秒。我的第一個問題，這是一個正常的行爲，或者我做錯了什麼？由於我的邏輯中的事務應該在最大100毫秒內完成，所以這個超時值對我來說是一個非常大的延遲。也許設置metadata.fetch.timeout.ms到10毫秒可能會解決我的問

2熱度

1回答

就是卡夫卡ProducerRecord和KeyedMessage

我測量卡夫卡生產者生產性能之間的差異。目前我見過兩個客戶端與位不同的配置和使用情況：常見： def buildKafkaConfig(hosts: String, port: Int): Properties = { val props = new Properties() props.put("metadata.broker.list", brokers) p

1熱度

1回答

創建一個Kafka主題導致沒有領導者

我正在使用Kafka v0.9.0.1（Scala v2.11）和com.101tec:zkclient v0.7。我正在嘗試使用AdminUtils來創建一個kafka主題。我的代碼如下。 String zkServers = "node1:2181,node2:2181,node3:2181,node4:2181"; Integer sessionTimeout = (int)TimeUni