在Apache flink的節點之間共享數據集的最佳方式是什麼？

Question

我使用Apache Flink處理數據流，並且需要在處理輸入數據的所有節點之間共享索引。索引經常被節點更新。

我想知道，從效率的角度來看，通過廣播變量共享數據集是否是一種很好的做法？

廣播變量是否會在每次更新後在所有節點中更新？

Apache Flink是否智能地更新廣播變量以適應最近的更改？

Answer 1

我認爲解決方案在於使用基於Flink的受管狀態描述符的有狀態函數。如果狀態不可分區，請爲您的操作員設置並行度。