spark-cassandra-connector

0熱度

1回答

java.lang.NoSuchMethodError：scala.reflect.api.JavaUniverse.runtimeMirror（Ljava/lang/ClassLoader;）：Sparkcassandra連接器

我一直在使用Spark 1.6和Cassandra connector 1.4.3從spark向cassandra寫入數據。現在，我們升級到Spark 2.1.0，我試圖升級cassandra connector to 2.0.0-M3，但如下返回錯誤： - java.lang.NoSuchMethodError: scala.reflect.api.JavaUniverse.runtimeMi

0熱度

1回答

Spark Cassandra連接器加入集羣密鑰

我試圖在卡桑德拉的一小部分數據上運行一個Spark任務。我手裏有一個RDD的鍵（分區和集羣列），我想只在這些鍵上運行我的作業。 type CassandraKey = (String, String, String, String) val columns = SomeColumns(ColumnName("pkey1"),ColumnName("pkey2"),ColumnName("pke

0熱度

2回答

org.apache.spark.sql.Dataset.foreachPartition（）使用Java的示例7

我有org.apache.spark.sql.Dataset並打算遍歷每一行。我看到有方法foreach和foreachPartition，但我沒有看到使用它的文檔或示例。我這裏指的是DOC here 星火2.1 的Java 7 卡桑德拉3.9 有人可以指導我如何通過星火數據集的記錄進行迭代？

0熱度

1回答

如何將Dstream數據（json）存儲到cassandra？

val topics= "test" val zkQuorum="localhost:2181" val group="test-consumer-group" val sparkConf = new org.apache.spark.SparkConf() .setAppName("XXXXX") .setMaster("loca

0熱度

1回答

Spark（SQL /結構化流式傳輸）Cassandra - PreparedStatement

我使用Spark Structured Streaming進行實時機器學習，並且希望將預測存儲在我的Cassandra集羣中。由於我處於流式上下文中，每秒執行多次相同的請求，所以一個強制優化是使用PreparedStatement。在卡桑德拉火花驅動程序（https://github.com/datastax/spark-cassandra-connector）有沒有辦法在使用Prepared

0熱度

1回答

如何在Java中使用Spark Cassandra Connector自定義列映射？

我想更改要追加的列映射。有沒有更好的方法來自定義Java中的Spark Cassandra Connector的列映射？ ColumnName song_id = new ColumnName("song_id", Option.empty()); CollectionColumnName key_codes = new ColumnName("key_codes", Option.empty(

0熱度

1回答

爲什麼Spark應用程序在從Cassandra表讀取數據集時比執行本地文件需要更長的時間？

我有以下代碼，應用程序在生成結果後立即結束。 def textProcess(sc: SparkContext) { val baseRDD = sc.textFile("C:\\myDrive\\test.log") val result = baseRDD.map { x => x }.reduce((accum, current) => accum) pri

0熱度

1回答

使用spark來掃描多個cassandra表使用spark-cassandra-connector

我有一個如何使用spark來操作/迭代/掃描cassandra的多個表的問題。我們的項目使用spark & spark-cassandra-connector連接到cassandra來掃描多個表，嘗試在不同的表中匹配相關值，如果匹配，則執行額外的操作，如表插入。使用情況如下圖所示： sc.cassandraTable(KEYSPACE, "table1").foreach( row =>

-3熱度

2回答

如何訪問執行器上的SparkContext以將DataFrame保存到Cassandra？

如何在執行器上使用SparkContext（創建SparkSession或Cassandra會話）？如果我將它作爲參數傳遞給foreach或foreachPartition，那麼它將具有null值。我應該在每個執行者中創建一個新的SparkContext嗎？我試圖做的是如下：閱讀轉儲目錄以百萬計的XML文件： dumpFiles = Directory.listFiles(dumpDirec

0熱度

1回答

Cassandra到Hive使用Spark

我有一個像下面這樣的cassandra表，並且想要使用一些條件從cassandra獲取記錄並將其放置在配置單元表中。卡桑德拉表（employee）入口： Id Name Amount Time 1 abc 1000 2017041801 2 def 1000 2017041802 3 ghi 1000 2017041803 4 jkl 1000 2017041804 5 mno 100