卡夫卡消費者閱讀並行消息

我們可以讓多個消費者從一個主題中消費以實現卡夫卡的並行處理。我的用例是並行讀取單個分區的消息。卡夫卡消費者閱讀並行消息

2017-07-06 anoop c

請編輯該問題，將其限制爲具有足夠詳細信息的特定問題以確定合適的答案。避免一次詢問多個不同的問題。請參閱如何問問頁面以獲取幫助以澄清此問題。 http://stackoverflow.com/help/how-to-ask – viCky

另外，請說明您已經完成了哪些研究，例如閱讀kafka文檔。 –

簡單地說，默認情況下，我們無法爲消費者實現分區級並行。您可以嘗試Akka Streams Kafka (Reactive kafka)。一旦通過這些文檔。

2017-07-06 11:19:39

分區數定義了從kafka主題讀取的並行度。但是閱讀（或多或少）只受網絡容量的限制。

一個好的模式是將消息的讀取和處理分開（每個主題分區有一個線程用於讀取，多個線程用於處理此消息）。

2017-07-06 11:37:10 TobiSH

是的。這是我們現在計劃要做的。但是這裏的問題是，我們無法在處理時再次處理失敗的消息 –

您對「我們不能再次處理消息」有什麼意思？你的意思是說，處理消息可能因某種原因失敗，你需要稍後嘗試？我可以看到兩種可能的操作：關閉自動偏移提交，並在處理特定批次時手動執行此操作。選項二：發送這個事件兩個你也消耗的死信主題。 – TobiSH

第二個選項似乎fine.i會嘗試。謝謝 –

回答