星火直接流也沒有創造我們所面臨的性能問題，同時整合火花流卡夫卡卡夫卡每個分區

Question

並行流。

項目設置： 我們使用Kafka主題和3個分區，並在每個分區中生成3000條消息並在Spark直接流中處理它。我們所面臨

問題： 在我們有火花直接流的方法來處理相同的處理結束。根據以下文件。 Spark應創建與主題中的分區數量相同的並行直接流（在本例中爲3）。但是在閱讀時，我們可以看到來自分區1的所有消息先被處理，然後是第二和第三。任何幫助爲什麼它不處理並行？根據我的理解，如果它在同一時間從所有分區平行讀取，那麼消息輸出應該是隨機的。

http://spark.apache.org/docs/latest/streaming-kafka-0-8-integration.html#approach-2-direct-approach-no-receivers

Answer 1

你有沒有嘗試設置spark.streaming.concurrentJobs參數。 可能在你的情況下，它可以設置爲三個。

sparkConf.set（ 「spark.streaming.concurrentJobs」， 「3」）。

謝謝。