spark-cassandra-connector

2熱度

1回答

在Spark java API中使用spark cassandra連接器讀取數據的問題

我是Apache Spark中的新成員，我想將spark連接到Cassandra數據庫。星火版本：2.2.0 卡桑德拉版本：2.1.14 誤差以低於線發生 (long count = javaFunctions(sc).cassandraTable("test", "table1").count();) 我的Java代碼如下： public SparkTestPanel(String id,

0熱度

1回答

是否會觸發加載cassandra的全部數據

我有以下代碼。 Dataset<Row> kpiDF = spark.read().format("org.apache.spark.sql.cassandra") .options(new HashMap<String, String>(){{put("keyspace",keyspace);put("table", table);}}) .load() .filter("kpi='tes

0熱度

2回答

無法連接到遠程Spark Master - ROR TransportRequestHandler：調用RpcHandler＃receive（）時出現單向消息時出錯

前段時間我發佈了this question，但是出來的是我使用本地資源而不是遠程的資源。我有一臺配置了spark : 2.1.1,cassandra : 3.0.9和scala : 2.11.6的遠程機器。卡桑德拉的配置爲localhost:9032，火花大師爲localhost:7077。 Spark master設置爲127.0.0.1，其端口號爲7077。當連接到遠程火花主人，我得到以

2熱度

1回答

如何使用Spark Dataframe將行從C *導出到CSV文件

我需要定期將C *表的行存檔/冷存到CSV。例如：將2016年1月 - 6月的C *表my_table中的行導出爲CSV my_table.2016_06-30.csv，將2016年7月至12月的行在my_table中導出爲my_table.2016-12-31.csv，依此類推。我認爲CQL可以做到這一點，但並不是所有的表格都有我的行的時間戳列。有人建議我使用Spark Dataframes來

3熱度

1回答

如何將流數據集寫入Cassandra？

所以我有一個蟒蛇Stream-sourced DataFrame df，它具有所有我想要放入卡斯安德表的spark-cassandra-connector表中的數據。我已經在兩個方面試着這樣做： df.write \ .format("org.apache.spark.sql.cassandra") \ .mode('append') \ .options(table

2熱度

1回答

無法通過星火+斯卡拉

連接到遠程卡桑德拉我有一些麻煩，同時試圖使用Apache的星火和斯卡拉連接到遠程卡桑德拉。我以前用同樣的方法成功地連接了MongoDb。這一次，我真的不明白，爲什麼我收到以下錯誤： Failed to open native connection to Cassandra at {127.0.0.1}:9042 我想這是一個依賴和版本問題，但我沒能找到與此相關的問題，特別是什麼，無論是文件還是其

1熱度

1回答

使用Spark + Cassandra處理一張桌子到另一張桌子的低性能

我試圖使用spark + spark-cassandra-connector將一張桌子複製到另一張桌子，花費很多時間（〜17小時）。即使對於所有行（~2億）的簡單計數，我也花費了大約1個小時。我如何加快這個過程？卡桑德拉版本：3.1 object Init { def main(args: Array[String]): Unit = { val sparkConf = n

0熱度

1回答

saveToCassandra（）如何工作？

我想知道我什麼時候使用rdd.saveToCassandra（）如果此函數將當前rdd的所有元素保存到表cassandra中一次或保存元素類似於映射函數，該函數按每個rdd的元素逐個處理並返回新的解析元素？謝謝

-4熱度

1回答

使用saveToCassandra時自動遞增主鍵（）

是否可以在表Cassandra中創建自動遞增主鍵？

0熱度

1回答

加入兩個數據幀時CassandraSourceRelation不可序列化

我使用spark-cassandra-connector 1.6.2設置了數據幀。我嘗試用cassandra執行一些轉換。 Datastax企業版本是5.0.5。 DataFrame df1 = sparkContext .read().format("org.apache.spark.sql.cassandra") .options(readOptions).loa