2016-03-21 86 views
0

我想知道基於DCP的流在Spark Couchbase官方連接器中是否穩定?這些文件指出,他們還沒有準備好在生產中使用。我們有沒有Java的例子?Spark Couchbase連接器DCP

另外,如果有人能在我試圖解決的使用情況,以及是否提供一些線索火花連接器是有道理的位置:

我們得到了有關從couchbase精簡版分貝一些徽章同步網關每日更新。現在,在10天的時間內,如果有人獲得5張或更多徽章,我們需要推送一張祝賀徽章。這需要每10天完成一次。

因此,我的計劃是使用DCP,每天檢查更改,運行一項工作,然後將其推送到同步網關。如果在10天的間隔內,5個或更多的徽章已經獲得,然後我把它推到同步網關..

這是正確的方式來解決這個問題還是有更好的方法來做到這一點?

可用於

一兩件事是:

http://developer.couchbase.com/documentation/mobile/1.2/develop/guides/sync-gateway/server-integration/changes-worker/index.html ..

所以它的做法是在這裏更好?

+0

這裏有兩個問題,最好是將它們分開。 –

回答

0

由於該產品是GA,並且該功能未標記爲實驗,因此支持從Spark連接器進行DCP流式傳輸。如果功能不受支持,Couchbase會盡早引入功能並通過註釋將其標記爲實驗。這就是說,我知道在撰寫本文時,有一些已知的JVM核心DCP實現問題,預計在接下來的幾個星期(如果不是更早的話)將被修復。我所知道的一個肯定是在這裏跟蹤:https://issues.couchbase.com/browse/JVMCBC-312

已添加新的測試場景,並且Couchbase正在努力確保它在下一個版本之前的不同失敗/重新平衡模式下通過這些測試。

+0

非常感謝您的迴應。如果它用於從同步網關的更改數據流中讀取數據流,它是否跟蹤lastSequnce數字,即直到它讀取了什麼點?還是它總是讀取桶中的所有數據? – Sagar

+0

這裏的問題並不完全適用,因爲最後的序列號不是Couchbase存儲桶級別的概念,只能在Couchbase Sync Gateway級別上使用。 Spark連接器直接使用DCP,而不是Sync Gateway,它抽象出一些集羣概念並添加更多概念。有關詳情,請參閱以下文檔:http://developer.couchbase.com/documentation/mobile/current/develop/guides/sync-gateway/running-sync-gateway/connecting-sync-gateway-to-couchbase-server/index html的 –