spark-cassandra-connector

0熱度

1回答

爲什麼在Cassandra連接器放入-jars時spark-submit失敗，並顯示「無法裝載數據源的類：org.apache.spark.sql.cassandra」？

星火版本：1.4.1 卡桑德拉版本：2.1.8 Datastax卡桑德拉連接器：1.4.2-SNAPSHOT.jar 命令我跑 ./spark- submit --jars /usr/local/src/spark-cassandra-connector/spark-cassandra-connector-java/target/scala-2.10/spark-cassandra-connect

1熱度

1回答

來自spark-cassandra連接器和組裝罐的NoSuchMethodError

我對Scala相當陌生，並且正在嘗試構建Spark作業。我已經構建了一個包含DataStax連接器的工作並將其組裝成一個胖罐子。當我嘗試執行它時，它會失敗，出現java.lang.NoSuchMethodError。我已經打開了JAR，可以看到包含DataStax庫。我錯過了明顯的東西嗎？有沒有一個很好的教程來看待這個過程？感謝控制檯 $火花提交--class org.bobbrez.CasC

1熱度

2回答

如何在使用cassandra spark連接器進行數據集成時將RDD工作並行化？

下面是示例senario，我們在cassandra中有實時數據記錄，並且我們想要彙總不同時間範圍內的數據。我寫的代碼象下面這樣： val timeRanges = getTimeRanges(report) timeRanges.foreach { timeRange => val (timestampStart, timestampEnd) = timeRange

0熱度

1回答

卡桑德拉 - 日誌找到誰做了什麼

我是新來卡桑德拉和主要從DevOps的一側只安裝和配置cassandr和使用提供。有所在的表是越來越截斷的情況下，我不知道是誰做的，是有辦法，我們可以檢查誰做截斷或更改卡桑德拉？

2熱度

1回答

Atomic通過Spark Streaming提交給Cassandra

對於Cassandra（2.1.11）和Spark（1.4.1）我都很新，並且有興趣知道是否有人看到/開發了用於原子寫入兩個不同Cassandra表的解決方案使用Spark Streaming。我目前有兩個表保存相同的數據集，但具有不同的分區鍵。爲了簡單起見，我將使用熟悉的用戶表的例子來解釋： CREATE TABLE schema1.user_by_user_id ( user_id

0熱度

1回答

如何爲Scala 2.11的Spark組裝Cassandra連接器？

有人可以告訴我如何構建Spark-Cassandra連接器組件嗎？我試過按照Github頁面https://github.com/datastax/spark-cassandra-connector上的說明進行操作，但我只是收到了數百個「重複數據刪除」錯誤。我使用Scala 2.11.7和Spark 1.5.1（我爲Scala 2.11構建）和SBT 13.8。我做了以下內容： git clo

1熱度

1回答

Spark對CQL有什麼額外的好處？

我們正在爲cassandra探索SPARK以克服CQL的限制。我們最初只限於CQL，但在RDBMS上面臨很少的障礙/障礙。僅舉幾例，如下爲了比較>（大於）和<（小於）上的專欄中，我們被限制在聚集鍵列。即使如果我在羣集中有一列，我仍然應該提供分區密鑰來執行<或>羣集密鑰。無法檢查NULL任何列值爲了任何一列其他分區鍵查詢，我們必須在該列 ORDER創建指數列這不是一個聚集鍵 GROUP BY

10熱度

3回答

如何查詢使用Spark DataFrames的JSON數據列？

我有一個卡桑德拉表，爲簡單起見看起來像： key: text jsonData: text blobData: blob 我可以使用創建此使用火花和火花卡桑德拉-連接器的基本數據幀： val df = sqlContext.read .format("org.apache.spark.sql.cassandra") .options(Map("table" -> "my

0熱度

1回答

在Cassandra中批量插入使用Apache Spark掛起和上下文未從Web服務器觸發時關閉

我是一個新的火花。我試圖使用spark-cassandra連接器將csv文件插入到cassandra表中，如下所示：這些文件位於Hdfs中，我獲取所有文件的路徑，並且爲每個路徑調用一種將csv數據轉換爲corressponding cassandra的方法數據類型並創建預準備語句將數據綁定到準備好的語句並將其添加到批處理中。最後，我執行批處理1000. 要點 1.我正在使用Apache Cass

2熱度

1回答

使用Spark Cassandra連接器將枚舉存儲爲Cassandra

我試圖在Cassandra中使用它的Int表示來存儲一個scala枚舉，但我總是得到一個com.datastax.spark.connector.types.TypeConversionException。我想知道枚舉類是一個特例還是我做錯了什麼。編輯（2015-12-16）。讓我試着用一段代碼擴展我的問題，這樣我可以更好地傳達這個想法。 import org.apache.spark.{Sp