如何處理flink streaming作業中的背壓？

我正在運行一個流式flink作業，它將使用來自kafka的流式數據，並對flink地圖函數中的數據執行一些處理，並將數據寫入Azure數據湖和彈性搜索。對於map函數，我使用了一個並行性，因爲我需要在我作爲全局變量維護的數據列表中逐個處理傳入數據。現在，當我在flink開始從kafka獲取流數據時運行這個工作時，它的背壓在map函數中變得很高。是否有任何設置或配置可以做到避免flink中的背壓？ enter image description here 如何處理flink streaming作業中的背壓？

來源

2017-07-22 dhinesh

你好，歡迎來到SO！我想爲您提供一些SO文檔，以幫助您提出更好的問題。例如，您可能對[我們在此討論的主題]（https://stackoverflow.com/help/on-topic）感興趣，[提出'好'問題的方式]（https://stackoverflow.com/幫助/如何操作）以及[創建最小，完整且可驗證的示例的方式]（https://stackoverflow.com/help/mcve）。如果你覺得它有用，你仍然可以編輯你的問題。 –

對給定運算符的背壓指示下一個運算符正在緩慢地消耗元素。從你的描述看來，其中一個匯點表現不佳。考慮擴大接收器，爲解決問題註釋接收器，和/或調查您是否達到Azure速率限制。

來源

2017-07-22 22:20:14

如何處理flink streaming作業中的背壓？

回答

相關問題