Spark Direct Stream併發作業限制

Question

我正在kafka運行一個spark直接流，我需要運行許多併發作業以便及時處理所有數據。在spark中，您可以將spark.streaming.concurrentJobs設置爲要運行的多個併發作業。

我想知道的是確定在給定環境中可以運行多少個並行作業的邏輯方法。對於我公司的隱私問題，我無法告訴你我擁有的規格，但我想知道哪些規格與確定限制有關，爲什麼？

當然，替代方案是我可以繼續增加和測試，然後根據結果進行調整，但我想要一個更合理的方法，並且我想實際瞭解什麼決定了限制以及爲什麼。

Answer 1

要測試不同數量的併發作業並查看總體執行時間是最可靠的方法。然而，我想最好的數字大致等於Runtime.getRuntime().availableProcessors();

所以我的建議是從可用處理器的數量開始，然後增加和減少1,2和3.然後製作一個圖表（執行時間與工作數量相比），你會看到最佳的工作數量。