2016-11-17 70 views
0

我在Google雲端部署了一個9節點的Datastax羣集。Google雲端pub/sub到Datastax Cassandra(在谷歌雲中)

現在我已經被要求從QUEUE中讀取數據並加載到Google雲上的Datastax(Continues Streaming)中。

我知道pub/sub可以從QUEUE中讀取數據,但不知道它是否可以直接加載到Datastax中。

pub/sub是否可以將數據加載到Google雲上的Datastax中?

我是pub/sub新手,所以不確定從哪裏開始或如何開始。

感謝,

+0

可能的重複[使用pub/sub讀取郵件並將其加載到Google Cloud上的Datastax](https://stackoverflow.com/questions/40633741/read-the-messages-using-pub-sub-and-負載它 - 進入 - datastax-上谷歌雲) –

回答

0

沒有從谷歌Cloud發佈/訂閱的數據加載到Datastax自動方式。您將不得不創建一個訂閱,並寫入從該訂閱獲取消息的訂閱者代碼,然後將其寫入Datastax。 可能是開始採取必要步驟的好地方。

0

一種方法是從Pub/Sub讀取數據流管道(以流模式運行)並寫入Cassandra。 Dataflow中沒有內置Cassandra接收器(儘管one is in the works作爲Apache Beam的一部分),但它可能足以讓您的用例在Dataflow ParDo中寫入Cassandra。