如何驗證發送到PubSub的所有消息是否已正確發送？

Question

我正在運行從PubSub讀取並寫入BigQuery的Dataflow流式管道。當我嘗試驗證所有消息都已寫入BigQuery時，我意識到某些消息已丟失。

如何驗證發送到PubSub的所有消息是否已正確發送？

Answer 1

如果您在PubSub發佈者（cloud.google.com/pubsub/publisher）上收到確定的回覆，則表示它們已被正確發送。您可以嘗試在您的發佈商處記錄所有發佈的消息ID，並在您的管道中記錄所有收到的消息ID（例如，將它們放入BigQuery列中）。