spark-cassandra-connector

0熱度

1回答

加載數據，同時從卡桑德拉加載數據，星火拋出，因爲在表中的列 java.lang.IllegalArgumentException異常的類型的LOCALDATE 下面是我的倉庫代碼： - private transient Sparkconf sparkConf; private SparkContext sc; public List<Person> findAll() { spa

0熱度

1回答

使用Sparklyr連接到Cassandra數據

我正在使用RStudio。安裝了Spark的本地版本，運行一些東西，挺開心的。現在我正嘗試使用RStudio Server和獨立版本的Spark從羣集中讀取我的實際數據。數據在Cassandra，我不知道如何連接到它。任何人都可以給我一個關於如何連接和讀取數據的好的入門書嗎？

0熱度

1回答

星火CassandraTableScanRDD KeyBy不持有的所有列

CASSANDRA_TABLE has (some_other_column, itemid) as primary key. val cassandraRdd: CassandraTableScanRDD[CassandraRow] = sparkSession.sparkContext .cassandraTable(cassandraKeyspace, cassandraTab

0熱度

2回答

Postgresql UUID []給Cassandra：轉換錯誤

它給了我java.lang.ClassCastException：[Ljava.util.UUID;不能轉換爲[Ljava.lang.String; 我的作業從包含user_ids uuid[]類型列的PostgreSQL表中讀取數據，以便在我試圖在Cassandra上保存數據時收到上述錯誤。但是，在Cassandra上創建這個同樣的表格工作正常！ user_ids list<text>。我無

1熱度

1回答

Scala加入withCassandra表結果（或CassandraTableScanRDD）到數據集

我使用Datastax spark-cassandra-connector訪問Cassandra中的一些數據。爲了能夠有效地訪問我需要查詢的所有數據，我必須使用joinWithCassandraTable方法從一堆分區中取回數據。這給了我一個類com.datastax.spark.connector.rdd.CassandraTableScanRDD（或類似的，測試我實際上只是使用標準的sc.c

0熱度

1回答

Spark從一個數據幀創建多個數據幀

我使用Spark 2.1和Cassandra（3.9）作爲數據源。 C *有一個有50列的大表，對我的用例來說這不是一個好的數據模型。所以我爲每個傳感器創建了拆分表以及分區鍵和集羣鍵列。 All sensor table ----------------------------------------------------- | Device | Time | Sensor1 | Sens

0熱度

1回答

如何使用Gremlin配置Cassandra db進行遠程連接？不工作

我在節點Js中使用Cassandra DB，DSE圖形，gremlin查詢。我能夠獲得價值並訪問本地主機上的數據庫。每當我嘗試連接到遠程服務器（例如http://remoteservercassandra.in）都無法連接。我如何連接到遠程服務器？我的代碼是 var dse = require('dse-driver'); var client = new dse.Client({

0熱度

1回答

SparkSQL加入父/子數據集

我使用SparkSQL 2.2.0從Cassandra加載數據並將其索引到Elasticsearch。我擁有的數據由客戶（第一張表people）和訂單（第二張表orders）組成。表格訂單具有指向相應客戶的列person_id。我的需求是查詢（並在Elasticsearch稍後索引）people表和orders，因此我可以爲每個客戶購買她購買的訂單數量。我想出的最簡單的方法是在person_

0熱度

1回答

從卡桑德拉讀取blob類型火花與卡桑德拉連接器

我需要讀取cassandra blob類型的火花與spark-cassandra-connector並比較兩個基於blob字段的數據集。作爲例如下面的代碼顯示了我的意思是： // Cassandra Table CREATE TABLE keyspace.test ( id bigint, info blob, PRIMARY KEY (id) ) case

0熱度

1回答

Spark-cassandra加入：池正在忙沒有可用的連接，並且隊列已達到其最大大小256

我試圖使用joinWithCassandraTable函數來加入數據幀。隨着非prod中的小數據集一切正常，當我們去刺激，由於大量的數據和其他連接到cassandra，它已拋出異常如下。 ERROR [org.apache.spark.executor.Executor] [Executor task launch worker for task 498] - Exception in task