是否可以通過StreamSets Data Collector（SDC）創建Kafka主題？

我正在使用StreamSets Data Collector（SDC）Web工具創建一個管道，通過卡夫卡生產者將數據從本地系統傳輸到卡夫卡。但是，我必須先手動創建我想要存儲數據的主題。是否有可能通過StreamSets創建主題？是否可以通過StreamSets Data Collector（SDC）創建Kafka主題？

來源

2017-09-18 prachi

您將如何計算主題名稱，分區配置？ – metadaddy

實際上可以通過StreamSets創建主題。當我們開始一個以Kafka Producer作爲目標的新管道時，StreamSets會自動創建一個新的主題，如果它尚未存在於Kafka服務器上的話。默認情況下，創建的主題只有一個分區。是否可以在StreamSets中指定配置？ – prachi

默認情況下，Kafka被配置爲自動創建主題。您可以在broker config中設置num.partitions將每個主題的分區數從其默認值1更改爲。

如果您想從流水線創建主題，可以觸發shell executor從pipeline start event到create a topic。

請注意，無法從舞臺事件中創建主題，因爲這些數據在發送到目標後觸發，並且您希望在管道開始發送數據之前存在該主題。

來源

2017-09-21 06:23:49 metadaddy

謝謝！這解決了這個問題。 – prachi

是否可以通過StreamSets Data Collector（SDC）創建Kafka主題？

回答

相關問題