2017-09-13 120 views
0

我想並行化寫入kafka,即有多個生產者將數據發送到kafka,儘管它來自akka流。在其他我的流中有幾個從源頭開始的階段,然後在發送數據時,我希望有大約16位工作人員同時發送數據。並行使用Akka Streams Kafka Producer

我想知道是否需要在阿卡流圖DSL中嵌入Akka Streams Kafka併爲此使用平衡器,或者如果有更簡單的解決方案。另外,簡單地說,如果有人做了這樣的事情總的來說會很棒。

回答

1

阿卡流卡夫卡(又名無卡夫卡)已經得到了製片並行特定設置(見docs

akka.kafka.producer { 
    # Tuning parameter of how many sends that can run in parallel. 
    parallelism = 100 

    ... 
} 

你試過調整它來解決問題了嗎?

+0

我甚至都不知道這個參數。謝謝。 – MaatDeamon

+0

在此快速展開,這是否意味着,例如,是否需要保留我的內容的順序,然後我需要將該並行性降至1? – MaatDeamon

+0

我認爲是這樣,通過看這個代碼https://github.com/akka/reactive-kafka/blob/master/core/src/main/scala/akka/kafka/scaladsl/Producer.scala# L79 –

相關問題