0
從數據流管道中的數據存儲中讀取數據時,似乎該作業沒有分配給我爲我的工作設置的可用工作量。 Dataflow是否將數據存儲區數據的讀取並行化,還是與單個工作人員一起進行?在數據流管道中從數據存儲中讀取數據時緩慢
從數據流管道中的數據存儲中讀取數據時,似乎該作業沒有分配給我爲我的工作設置的可用工作量。 Dataflow是否將數據存儲區數據的讀取並行化,還是與單個工作人員一起進行?在數據流管道中從數據存儲中讀取數據時緩慢
通常,DatastoreIO所做的讀取使用多個工作人員並行讀取。但是,並非所有查詢都可以根據文檔進行並行化。例如,指定限制或使用不等式過濾器的查詢。這些查詢需要使用單個工作人員來確保正確性。
https://cloud.google.com/dataflow/model/datastore-io#reading-from-datastore