Google DataFlow - 固定的工作人員數

Question

我在Google DataFlow中邁出了一步，我想從外部速率限制的API中提取數據。是否有辦法在固定數量的工人之間平均分配數據以遵守比率限制？ （需要知道工人的數量，以便按照該數字劃分費率限制）。

Answer 1

這個問題的答案取決於管道是否通過分批或流亞軍運行：

批號：不直接控制這除了numWorkers和maxNumWorkers設置爲需要的值。這將影響整個流水線，不僅僅是您想要限制速度的階段

流式傳輸：UnboundedSource API可讓您通過generateInitialSplits()調用精確指定所需的並行輸入分割數。然後，每個分割都可以遵守自己的當地費率限制。