如何從S3導入數據集到cassandra？

Question

i使用aws雲中的datastax dse啓動集羣spark cassandra。所以我的數據集存儲在S3中。但我不知道如何從S3傳輸數據到我的羣集cassandra。請幫我

Answer 1

細節取決於你的文件格式和C *的數據模型，但它可能是這個樣子：

• 從S3文件讀入到一個RDD

  VAL RDD = SC .textFile（ 「S3N：//mybucket/path/filename.txt.gz」）

• 操控RDD

• 寫RDD到卡桑德拉表：

  rdd.saveToCassandra（ 「測試」， 「KV」，SomeColumns（ 「鍵」， 「值」））

Answer 2

什麼@描述phact是通過使用附帶的DataStax企業星火API如果在加載時需要完成ETL工作，這可能非常有用。 僅用於加載，您可以使用批量加載功能sstableloader。這裏有一個tutorial讓你開始。