2017-07-03 30 views
0

NiFi 1.2.0自定義處理器和背壓,節流

有一個自定義的處理器,從數據庫中讀取數據並進一步傳遞它。在最近的壓力測試中,'成功'關係隊列被阻塞,並且隨着處理器丟棄數十萬個幾GB的流文件,後續流程也被阻塞。顯然,backpressuring未實現。我還閱讀了有關節流和背壓的信息post

我已經發現背壓是我們在關係隊列中配置的東西,像ControlRate這樣的標準處理器可以幫助管理數據流。

問題:

需要額外的編碼(例如:某些接口來實現)在處理器,使其能夠「睡眠/停止消費數據」的backpressuring或根本的NiFi框架處理,一旦'成功'關係配置爲反壓

回答

1

不需要額外的編碼。 NiFi框架爲您管理背壓,並在施加背壓時停止調用您的處理器。

+0

這就是我想的。我能否假設背壓/節流意味着只需配置關係(背壓對象閾值,流量過期,背壓數據大小閾值),並在需要時添加像ControlRate這樣的處理器? –

+0

正確。這些都是控制吞吐量的好辦法。 – James