Flink動態縮放

Question

我目前正在研究Flink的可伸縮性。從版本1.2.0開始，引入了動態重新縮放。我正在考慮擴展從卡夫卡源讀取數據的長時間運行的作業。

有關動態縮放的問題。

1. 要擴展我的flink應用程序，例如：添加新任務管理器，我必須重新啓動作業/紗線會話以使用新添加的資源嗎？
2. 我認爲可以編寫Yarn客戶端來部署新的任務管理器，並使其與作業管理器交談，這在現有的flink紗線客戶端應用程序中是否已經可用？

請原諒我，如果這些問題太基本了，我確實仔細閱讀了文檔，我不得不承認，我最近沒有能夠將這些概念完全放在紗線上的一些測試部署中。

Answer 1

當前，動態縮放意味着能夠更新運算符的並行性（Flink 1.2），無論是針對鍵控狀態還是針對非鍵控狀態。

1. 進行擴展，我弗林克的應用程序，例如：添加新的任務管理器，我必須重新啓動作業/紗會話使用新增加的資源？ - 是，必須先停止作業，更新並行性並重新啓動。不必擔心狀態，Flink會處理它們，包括重新分配。

2. 我認爲這是可以寫的紗線客戶部署新的任務管理器，並使其跟工作的經理，是在現有的弗林克紗客戶端應用程序已經可用？ - 否，你不行。這個功能似乎將來會增加。目前，我們不能這樣做。