0
NiFi 1.2.0自定義處理器和背壓,節流
有一個自定義的處理器,從數據庫中讀取數據並進一步傳遞它。在最近的壓力測試中,'成功'關係隊列被阻塞,並且隨着處理器丟棄數十萬個幾GB的流文件,後續流程也被阻塞。顯然,backpressuring未實現。我還閱讀了有關節流和背壓的信息post。
我已經發現背壓是我們在關係隊列中配置的東西,像ControlRate這樣的標準處理器可以幫助管理數據流。
問題:
需要額外的編碼(例如:某些接口來實現)在處理器,使其能夠「睡眠/停止消費數據」的backpressuring或根本的NiFi框架處理,一旦'成功'關係配置爲反壓
這就是我想的。我能否假設背壓/節流意味着只需配置關係(背壓對象閾值,流量過期,背壓數據大小閾值),並在需要時添加像ControlRate這樣的處理器? –
正確。這些都是控制吞吐量的好辦法。 – James