谷歌雲PubSubIO如何確認。閱讀

Question

我瀏覽了文檔，但找不到PubSubIO.Read函數如何處理確認。具體而言，我感興趣的是消息是逐一確認還是以微批處理方式確認。如果後者是這種情況，我想知道我們是否可以設置批量大小。

任何幫助，將不勝感激。

Answer 1

從When does Dataflow acknowledge a message of batched items from PubSubIO?：

數據流執行捆綁你的代碼。成功執行後，每個bundle都會承諾避免在成功處理的元素上重新執行。管道中的每一步之間都不一定有套裝。有關何時實現PCollections和落實的詳細信息，請參閱融合優化的說明。

對於PubSub，作爲包的一部分被讀取的消息將被確認爲提交該包的完成的一部分。這意味着如果您查看PubSub讀取步驟以及其後的任何ParDos，這些步驟將一起執行（並提交）。

因此，消息既不是一個接一個也不是可控制的批次。這取決於消息的處理如何以及何時在下游進行。