2014-02-12 52 views
2

我開始了一個nodejs應用程序,我想在Elastic Search上索引Cassandra數據,但是最好的方法是什麼?我給Storm看了一下,但是看起來並不像解。首先,我正在考慮爲Cassandra使用一個客戶端,爲Elastic Search使用一個客戶端,並在我的應用程序中應用插入/更新/刪除兩次,每個客戶端一個,但似乎不是要走的路,而且我擔心這一點的一致性。有一種更好的方法可以將Cassandra數據傳輸到Elastic Search上進行索引?風暴會幫助我做到這一點?有人可以建議任何技術將一個數據庫數據傳輸到另一個數據庫?我真的懷疑在這裏無處可尋。如何在Elastic Search上傳輸和索引Cassandra數據?

回答

4

您是否希望將數據從Cassandra移至ElasticSearch一次且僅限一次?或者你想讓它們保持同步?

在這兩種情況下,我認爲風暴很合適。我過去曾經使用它將RDBMS中的數據轉移到Apache Solr中。要記住的一件事就是Solr/Elastic搜索可以實現的寫入限制。如果你增加了平行度,那麼你將他們帶到膝蓋。

另一種選擇可能是Apache Hadoop,但它只適用於一次性複製,或者如果您想每天覆制數據(昨天的數據和新的數據)。

+1

我需要保持它們的同步,因爲Cassandra是我的主數據庫,並且Elastic Search將用於索引Cassandra數據,因爲Cassandra沒有以擴展的方式提供我需要的分析。但我真的失去了如何用暴風雨來實現這一目標,我不明白管道原理是什麼,以及風暴將如何連接兩個數據庫,因爲每個數據庫都有自己的模式。而且我不完全理解Java,不是我擁有域的語言。 –

+0

@EzequielPereira那麼,你選擇了錯誤的堆棧(因爲你不知道它們)或者是什麼東西強迫它們在你身上:) – Chiron

相關問題