工作動態再平衡的自定義無限源和閱讀器的谷歌雲數據流

Question

我有一個自定義閱讀器的以下實施和自定義來源：

公共類CustomPubsubReader擴展UnboundedReader {....}

公衆類CustomPubsubSource擴展UnboundedSource {...}

閱讀文檔時，似乎動態工作重新平衡僅適用於有界源。

在我看來，即使消息隊列正在接收1000個元素/秒，我也看到只有1個工作節點被創建用於從定製源讀取消息。

如果我使用PubsubIO.Read（）作爲例子，它會在這種情況下爲流模式創建大於1的worker。

使用自定義源與雲數據流時，有任何擴展方法嗎？

謝謝！

Answer 1

UnboundedSource可能實現generateInitialSplits（Dataflow 1.X）或split（Dataflow 2.0）爲給定源生成多個閱讀器。

查看Javadoc瞭解更多詳情。