spark-cassandra-connector

2熱度

1回答

我有一個驅動程序，我使用spark從Cassandra讀取數據，執行一些操作，然後在S3上寫出JSON。當我使用Spark 1.6.1和spark-cassandra-connector 1.6.0-M1時，程序運行良好。但是，如果我嘗試升級到Spark 2.0.1（hadoop 2.7.1）和spark-cassandra-connector 2.0.0-M3，程序將以所有預期文件寫入S3的方式

0熱度

1回答

如何閱讀並保存Java RDD的每個元素的數據庫通知限制

我是Apache Spark的新手。我正在編寫一個程序，通過從Apache Cassandra數據庫獲取數據來創建JavaRDD。然後我通過調用一些不屬於我的驅動程序的輔助方法來處理RDD中的每個元素。在基於特定條件的幫助方法中，我想發送電子郵件通知。但在此之前，我想獲取已發送給該用戶的通知數量。如果它沒有超過限制，那麼我想發送通知並增加該用戶在數據庫中的通知號碼。那麼我怎麼能得到這些數據，並

2熱度

1回答

Cassandra在從火花中讀取時是OOMing

我試圖讀取我的表與火花的所有數據做一個簡單的計數。但是我的簇中的一些Cassandra節點會拋出java.lang.OutOfMemoryError。在此之後，我的火花作業停止，因爲它無法再與這些特定節點聯繫。一個簡單的解決辦法是提高堆內存的數量，但我認爲它只是掩蓋真正的問題。堆轉儲顯示在兩個ArrayList中存在大量SSTableScanner實例（7200），它們共佔內存的35％。第三

2熱度

1回答

查詢並保存到卡桑德拉的foreach星火函數內部

我有一個要求做的星火以下/卡桑德拉環境：閱讀包含標準來篩選另一個表2. table1的最新行（我做使用數據幀），到目前爲止這工作正常。對於table2中的每個過濾行，我需要查詢table3以檢查該行的某個狀態。從上一步獲得狀態後，我需要將一些數據保存到其他三個表中。的問題是，我需要查詢卡桑德拉表並保存到的foreach功能，這意味着我要傳遞的Java星火背景下，但不幸的是，它是不可序列（見

1熱度

1回答

元數據是否存儲在Cassandra集羣的每個節點中？

在Cassandra集羣中，假設Cassandra集羣有節點A，B和C.那麼節點A是否也具有節點B的所有元數據信息？反之亦然？我們有任何單獨的節點，它擁有所有其他節點的元數據信息嗎？

0熱度

2回答

大查詢時間Spark + Cassandra

Ahoi全能的開發者。我在Spark中運行一些基本分析，我正在查詢多節點Cassandra。我跑哪裏我處理一些unlogic的代碼是： import org.apache.spark.{SparkConf, SparkContext} import org.apache.spark.sql.SQLContext import org.apache.spark.SparkContext imp

1熱度

2回答

Cassandra Spark連接器最新版本如何獲得

Cassandra Spark連接器的最新版本是什麼？基於網站 spark-cassandra-connector最新是1.63。根據spark-cassandra-connector上的相容性矩陣需要連接器版本2適用於Sparks2。那麼我們在哪裏可以找到Connector 2版本？它在那裏嗎？連接器火花卡桑德拉卡桑德拉Java驅動程序 2.0 2.0 2.1.5 *，2.2，3.0 3.0

0熱度

1回答

Cassandra Spark連接器JavaDemo編譯錯誤

我正在使用Cassandra 2.2.8，JDK8，spark-cassandra-connector-java_2.10，spark-cassandra-connector_2.11-2.0.0-M3，cassandra-driver-core-3.1 .0及以下 Cassandra Spark Connector Example JavaDemo。此演示必須修復以使用新的2.1 Connetc

0熱度

1回答

分區鍵檢索與joinWithCassandraTable

我有以下卡桑德拉表用法： CREATE TABLE listener.snapshots_geohash ( created_date text, -- date when record have come to the system geo_part text, -- few signs of geo hash - just for partitioning whe

2熱度

1回答

將自定義編解碼器添加到CassandraConnector

有沒有辦法在CassandraConnector的實例化上註冊自定義編解碼器？我目前註冊我的編解碼器，每次我打電話cassandraConnector.withSessionDo val cassandraConnector = CassandraConnector(ssc.sparkContext.getConf) ... ... .mapPartitions(partition =>