卡夫卡從主題中讀取有限列表

從卡夫卡主題中讀取有限相關記錄列表的最佳方式是什麼？例如，包含幾百條記錄的db查詢結果。我怎麼會知道「結束」？標題中有簡單的標誌？卡夫卡從主題中讀取有限列表

2017-10-15 user2824203

對於這種用例，Kafka不是一個好的選擇。您必須記住與DB查詢相對應的消息的開始和結束偏移量，並且還必須確保這些消息進入單個分區，否則它們可能會被添加到命令以及更多狀態中以便記憶。如果您爲每個查詢使用一個專用主題，那會更好。卡夫卡不是一個很好的選擇，即時創建和刪除主題。

相反，對於您提到的用例，Redis列表將是更好的選擇。

來源

2017-10-15 19:48:34

感謝您的信息。我正在評估kafka vs rabbitmq即將推出的項目。我看着ksql，但它在github的視線上說「dev only」。似乎尼朋的建議可能是要走的路。 – user2824203

聽起來就像你試圖查詢卡夫卡。在這種情況下，您可能想嘗試KSQL（https://github.com/confluentinc/ksql）。它允許你創建類似SQL的查詢，如SELECT * FROM mytopic WHERE regionid LIKE'％_8'或者regionid LIKE'％_9'LIMIT 100;

來源

2017-10-16 00:41:28

卡夫卡從主題中讀取有限列表

回答

相關問題