Dse spark從集羣中提取數據並加載到另一個集羣

Question

我們有兩個DSE集羣，我們希望使用DSE spark從集羣1中提取數據並進行一些轉換並加載到集羣2中。

如何實現這個？

Answer 1

您可以使用DSE spark從Cluster1加載到Cluster2。 唯一的先決條件是在已加載數據的羣集2中創建密鑰空間和表。

對於下列設置：

源羣集

羣集1：

KEYSPACE：rrtest

表：rrexample

目標羣集

羣集2：

密鑰空間：測試

表：例如

現在，這裏所述第一步驟是創建keyspaces和表。 說出表具有以下說明（從CQL殼創建）

在簇1：

CREATE TABLE rrtest.rrexample 
(
    username text PRIMARY KEY, 
    password text, 
    state text 
) 

在簇2：

CREATE TABLE test.example 
(
    username text PRIMARY KEY, 
    password text, 
    state text 
) 

Scala代碼遷移到Cluster2中

************ Load from Cluster 1************* 

import com.datastax.spark.connector.cql._ 
import java.net.InetAddress 
val myrdd = { implicit val src = CassandraConnector(Set(InetAddress.getByName("<ip : host1>"))); sc.cassandraTable("rrtest", "rrexample").select("username", "password", "state") } 

************ Migrate to Cluster 2************ 

{  implicit val dst = CassandraConnector(Set(InetAddress.getByName("<ip:host2>"))); myrdd.saveToCassandra("test", "example") }