卡夫卡水槽連接 - 如何爲每個主題創建一個任務（表格）

Question

我們已經實現了一款名爲Ampool AD​​S的卡夫卡水槽連接器，用於將數據從卡夫卡主題讀取到相應的安裝工具表中。主題和表格按其名稱進行映射。

我需要處理單個主題（從主題--->表中提取）到專門的接收器任務中。例如，如果我的配置包含3個不同的主題（topic1，topic2，topic3），則Sink連接器應創建3個不同的接收器任務，每個接收器並行執行每個表（每個表）專門提取其各自的/映射的表。

注意：將單個主題處理爲專用接收器任務背後的原因在於，如果特定表處於脫機/未創建狀態，則易於使用RetriableException機制。配置的時間間隔後，只有單個主題/表格記錄纔會重播。

這是可能與卡夫卡連接框架，如果是這樣如何..？

Answer 1

如果您將任務數量設置爲等於分區數量（並且我認爲您可以從連接器代碼執行此操作 - 創建配置時），那麼每個任務將只有一個分區。