我有一些基本的Kafka Streaming代碼,它可以從一個主題讀取記錄,進行一些處理,並將記錄輸出到另一個主題。Kafka Streaming Concurrency?
卡夫卡流處理併發性如何?一切都在單線程中運行嗎?我沒有看到在文檔中提到的這一點。
如果它是單線程的,我希望多線程處理的選項來處理大量的數據。
如果它是多線程的,我需要了解它是如何工作的以及如何處理資源,比如SQL數據庫連接應該在不同的處理線程中共享。
相對於其他選項(Spark,Akka,Samza,Storm等),Kafka的內置流式API不推薦用於大容量場景嗎?
鏈接到LINE工程師的博客在此期間被打破。你可以在這裏找到它:https://engineering.linecorp.com/en/blog/detail/80 – Esk
謝謝,更新! –
@ MichaelG.Noll如何在單個流應用程序實例的多個線程之間共享資源。如果我的ValueMapper不是線程安全的,那麼是否可以使用多線程運行應用程序實例? – mrnakumar