spark-cassandra-connector

0熱度

1回答

Spark KryoException：無法找到類：CassandraSQLRow

我使用Cassandra 2.1.5（dsc），Spark 1.2.1和spark-cassandra-connector 1.2.1。當我運行星火作業（斯卡拉腳本）我得到以下錯誤： 16/03/08 10:22:03 INFO DAGScheduler: Job 0 failed: reduce at JsonRDD.scala:57, took 15.051150 s Exception i

2熱度

2回答

如何保存使用火花只有少數列卡桑德拉在Java

我試圖使用 JavaRDD<UserSetGet> rddFromGz = sc.parallelize(ListFromS3); CassandraJavaUtil.javaFunctions(rddFromGz) .writerBuilder("dmp", "table", mapToRow(UserSetGet.class)).saveToCassandra(); 這裏U

2熱度

1回答

星火作業失敗

火花應用中，我們做兩個火花背景， 1）從文件系統中讀取數據。 2）用於連接和加載數據到Cassandra。在一個應用程序中，我們只能運行一個火花火花上下文，所以我們停止第一個然後開始第二個。我收到以下錯誤。 Error 1) 16/03/10 05:40:44 ERROR Utils: Uncaught exception in thread Thread-2 java.io.IOExce

0熱度

1回答

如果其他在Spark Streaming

我有一個Spark Streaming應用程序，它正在讀取來自Kafka中單一主題的數據，並根據元素的內容處理它，並將它插入到Cassandra中的兩個不同的鍵空間中。一些數據可能會去KEYSPACE A，其他一些以KEYSPACE B. 我做目前使用的過濾器操作： Functions.insertToCassandra(rdd.filter(element => element.tenant==

0熱度

2回答

火花連接卡桑德拉，失敗運開連接

這是我build.sbt name := "cassandra_test" version := "1.0" scalaVersion := "2.10.6" libraryDependencies ++= Seq("com.databricks" %% "spark-avro" % "2.0.1", "org.apache.spark" %% "spark-sql" % "1.6.

0熱度

1回答

如何知道行數使用Spark插入cassandra

我使用Spark插入cassandra。 CassandraJavaUtil.javaFunctions(newRDD) .writerBuilder("dmp", "dmp_user_user_profile_spark1", mapToRow(UserSetGet.class)).saveToCassandra(); logger.info("DataSaved")

0熱度

1回答

如何讓Cassandra分區在Spark中感覺像一個寬行？

Cassandra將其分區作爲多行顯示，但內部存儲爲寬行，這就是我想用Spark處理數據的方式。更具體一點，我會以某種方式獲得Cassandra分區的RDD或這些分區的數據框。然後，我願做一個map操作，並且在關閉，我想表達的是這樣的： row['parameter1']['value']/len(row['parameter2']['vector_value']) 僞代碼只是爲了讓一個想

-1熱度

1回答

Spark Cassandra寫性能

我想通過火花將大約200萬條記錄加載到cassandra。 Spark有4個執行程序，cassandra在集羣中有4個節點。但大約需要20分鐘才能將所有數據保存到cassandra。任何人都可以幫助我讓這件事更快一點。

1熱度

1回答

Spark 1.5和datastax-ddc-3.2.1 Cassandra依賴罐？

我正在使用Spark 1.5和Cassandra 3.2.1。任何人都可以指定構建路徑中需要的確切罐子以連接，查詢和插入數據到Cassandra。現在我使用的follwing罐子火花卡桑德拉 - connector_2.10-1.5.0-M3.jar Apache的卡桑德拉 - clientutil-3.2.1.jar 卡桑德拉驅動核心 - 3.0.0 -beta1-bb1bce4-快照sha

4熱度

1回答

EMR上的Spark + Cassandra LinkageError

我在EMR上部署了Spark 1.6 4.4.0 我正在連接到部署在EC2上的datastax cassandra 2.2.5。連接使用spark-connector 1.4.2_s2.10將數據保存到cassandra（因爲它有番石榴14）但是，使用1.4.2版本的連接器從cassandra讀取數據失敗。正確的組合暗示使用1.5.x，因此我開始使用1.5.0。首先我遇到了番石榴問題，並使用