到目前爲止,我還沒有看到一個顯式實現創建主題而不使用配置選項自動創建主題的python客戶端。如何使用python在apache kafka中創建主題
9
A
回答
1
似乎有那麼你必須使用主題自動創建的或命令行工具沒有卡夫卡服務器API來創建一個話題:
bin/kafka-create-topic.sh --zookeeper localhost:2181 --replica 1 --partition 1 --topic test
1
看起來你可以可以使用下面的方法確保你的話題已經存在(我假設你正在使用以下kafka python實現):
client = KafkaClient(...)
producer = KafkaProducer(...)
client.ensure_topic_exists('my_new_topic')
producer.send_messages('my_new_topic', ...)
0
這已經太晚了。我不知道有關顯式創建主題的命令,但以下內容會創建並添加這些消息。
我創建了一個python卡夫卡製作:
prod = KafkaProducer(bootstrap_servers='localhost:9092')
for i in xrange(1000):
prod.send('xyz', str(i))
在卡夫卡主題xyz
是不存在先前的列表。當我做了上面的方法時,Python-kafka客戶端創建了它並添加了消息。
+1
實際上,代理人創建了主題,只是因爲auto.topic.create.enable被設置爲「true」 。以這種方式創建的所有主題將具有默認配置,可能會或可能不會對您的用例有好處。 – 2017-06-21 06:11:05
0
做編程主題創建和配置所需的的AdminClient API卡夫卡0.11剛剛添加(最初爲Java)
預計非Java客戶端庫將添加此功能隨着時間的推移。請與您正在使用的卡夫卡Python客戶端的作者(有幾個),看看是否以及何時KIP-4管理協議支持將是在API中
0
from kafka import KafkaProducer
producer = KafkaProducer(bootstrap_servers=['localhost:9092'])
topic = 'topic-name'
producer.send(topic, final_list[0]).get(timeout=10)
相關問題
- 1. Apache Kafka從代碼創建主題
- 2. 爲Apache Kafka創建主題0.9使用Java
- 3. 如何刪除apache中的主題kafka
- 4. 使用pykafka在kafka主題創建上創建多個分區
- 5. 事件vs主題Apache Kafka
- 6. Apache Kafka主題分區
- 7. 如何通知消費者在Kafka中已創建新主題?
- 8. 如何在kafka中創建持久主題
- 9. 如何在kafka主題數據中創建關鍵值RDD
- 10. kafka過濾/動態主題創建
- 11. 不能在Apache Kafka上使用主管
- 12. 如何使用kafka連接將kafka主題下載到oracle中
- 13. 如何獲得apache kafka中的所有主題?
- 14. 使用java創建主題 - kafka版本> 0.10.0.0
- 15. Apache Kafka主題分區消息處理
- 16. 構建apache Kafka
- 17. 如何創建一個kafka非持久性主題
- 18. 使用Apache Kafka 0.10.0 API創建Kafka經紀人集羣使用Java
- 19. 在0.8.1版本中創建kafka主題時的delete.retention.ms
- 20. 如何使用PostgreSQL在Apache中使用apache tomcat創建webservice
- 21. Apache Kafka縮放使用分區的主題
- 22. 如何從Apache Spark向Kafka發送訂單主題
- 23. 如何在jaspersoft studio中創建主題?
- 24. Windows 7上的主題創建錯誤Kafka
- 25. kafka spout無法連接到kafka主題
- 26. 如何使用JIRA,Python創建問題
- 27. 在Apache ServiceMix中運行Kafka使用者
- 28. 在動態環境中使用Apache Kafka
- 29. 通過命令行創建Kafka主題時出錯
- 30. 創建一個Kafka主題導致沒有領導者
這是行不通的。 'ensure_topic_exists'只適用於啓用自動主題創建。 https://github.com/mumrah/kafka-python/blob/cd81cf0ec8c1b7e7651374c5d1cbd105d003d352/kafka/client.py#L305-L306 – zackdever 2015-05-15 00:48:01