0
是否可以將RDD [CassandraRow]轉換爲RDD [String]？如果是這樣，對轉換後的RDD有什麼不利之處？將RDD [CassandraRow]轉換爲RDD [String]
A
回答
0
您可以使用sqlContext從Cassandra表中讀取數據，它會返回一個DataFrame，並且當您使用sparkContext讀取文本文件時，它將返回RDD，然後您可以將其轉換爲DataFrame。
如果您的文本文件是CSV，Spark 2.0支持csv數據源，它會通過deafult返回一個DataFrame。請參閱本.. https://spark.apache.org/releases/spark-release-2-0-0.html#new-features和https://github.com/databricks/spark-csv/issues/
更新：
https://databricks.com/blog/2015/04/13/deep-dive-into-spark-sqls-catalyst-optimizer.html
相關問題
- 1. 加入CassandraTableScanRDD [CassandraRow]與RDD [String]
- 2. 我應該如何將RDD [String]轉換爲RDD [（String，String）]？
- 3. 將RDD [Map [String，Double]]轉換爲RDD [（String，Double）]
- 4. 如何將RDD [List [String]]轉換爲RDD [String]
- 5. Spark：如何將RDD [（Long，Iterable [String]）]轉換爲RDD [（Long，String）]？
- 6. 將RDD [Array [Row]]轉換爲RDD [Row]
- 7. 將RDD [Long，String，Long]轉換爲sql.DataFrame
- 8. 將Rdd [矢量]轉換爲Rdd [雙]
- 9. 如何將選項[RDD]轉換爲RDD
- 10. 將RDD [org.apache.spark.sql.Row]轉換爲RDD [org.apache.spark.mllib.linalg.Vector]
- 11. 轉換字符串RDD爲Int RDD
- 12. Pyspark：將RDD轉換爲RowMatrix
- 13. 將RDD轉換爲DataFrame
- 14. 將iterable轉換爲RDD
- 15. 對RDD轉換
- 16. 將RDD轉換爲地圖列表
- 17. Spark：將RDD [（Long，Array [Double]）]轉換爲RDD [（Long，Long，Double）]
- 18. Spark：scala - 如何將RDD的集合轉換爲另一個RDD
- 19. 如何將JSON的RDD轉換爲Dataframe？
- 20. 如何將Array [Row]轉換爲RDD [Row]
- 21. spark將spark-SQL轉換爲RDD API
- 22. 將生成的Rdd轉換爲HashMap
- 23. 將JDBC ResultSet轉換爲Spark RDD/DataFrame
- 24. 將Rdd轉換爲數據幀
- 25. 將RDD轉換爲可迭代：PySpark？
- 26. 將Json對象序列轉換爲Rdd
- 27. 將類對象轉換爲Java RDD
- 28. 如何將RDD [List [Int]]轉換爲DataFrame？
- 29. 將RDD轉換爲應急表：Pyspark
- 30. 將numpy矩陣轉換爲pyspark rdd
使用'rdd.map'功能，您可以轉換爲另一種形式 – Shankar
會有任何性能損失爲我的RDD將是巨大的？ – BDR
需要更多細節，爲什麼您要將一種形式的RDD轉換爲另一種形式，並且還要將RDD分佈在多個節點中。它旨在處理巨大的數據。 – Shankar