谷歌雲數據流Python - maxNumWorkers

Question

我想增加用Apache Beam的python SDK構建的數據流管道的工作人員數量，並且我發現文檔建議設置--maxNumWorkers=標誌將足以增加超出最大數量的工作人員默認值是15.但是，當我將這個標誌添加到管道選項時，它似乎不起作用。我回頭看了文檔here中記錄的執行參數選項，並注意到maxNumWorkers未在Python「列出其他雲管道選項」中列出，但出現在Java SDK中 - 這是Python包的一個已知限制嗎？有沒有其他選項我不考慮在python管道選項中設置maxNumWorkers？

注：我已經確認這是不是一個配額問題，我可以指定--num_workers=100但（我相信）不會使用自動縮放算法，因爲它立即工人數量設置爲100。

Answer 1

它看起來像在Python中一樣，選項是--max_num_workers。