2016-03-22 31 views
2

我在PubSub上有一個主題,我想在數據流上創建一個從主題讀取的管道,根據消息數據對它們進行分類並進一步讀取屬性鍵值對。 在使用PubSubIO的讀取轉換將其轉換爲PCollection之後,是否有辦法區分消息和屬性?如何從PubSubIO檢索消息和可選屬性?

回答

1

不幸的是,Dataflow的PubsubIO API目前不處理Pubsub消息的元數據和屬性。我想不出一個簡單的解決方法。

這是我們正在尋求改善的事情。這項工作被追蹤爲BEAM-53。請在那裏查看最新狀態。

+0

謝謝。這非常有幫助。 – alpheus

+1

在最新的Apache Beam PubSub IO中,您可以使用getAttributeMap和getAttribute獲取消息的屬性列表。請參閱https://beam.apache.org/documentation/sdks/javadoc/0.6.0/org/apache/beam/sdk/io/PubsubIO.PubsubMessage.html#getAttribute-java.lang.String- –