Schema RDD如何幫助將數據插入Apache Spark中的數據庫

-1

Schema RDD如何幫助將數據保存到Apache Spark中的任何數據庫中，並且它是否可用於新版本1.4.1？Schema RDD如何幫助將數據插入Apache Spark中的數據庫

2015-09-18 Avnish Kumar Singh

SchemaRDD被重命名爲數據幀在新版本中。 –

DataFrame frame = sqlContext.createDataFrame（clientRDD，UserDetailsSql.class）; frame.insertIntoJDBC（MYSQL_CONNECTION_URL，「users1」，true）; 我能夠通過這些代碼行來保存數據。但InsertIntoJDBC方法已棄用。請幫我找出哪個新版本的方法可以做同樣的任務。\ –

最後使用這段代碼。 UserDetailsSql dataObject1 = new UserDetailsSql（「Avnish」）; \t \t List ObjectList = new ArrayList （）; \t \t ObjectList.add（dataObject1）; \t \t JavaRDD clientRDD = ctx.parallelize（ObjectList）; \t \t DataFrame frame = sqlContext.createDataFrame（clientRDD，UserDetailsSql.class）; \t \t \t \t DataFrameWriter dfw = new DataFrameWriter（frame）; \t \t \t \t dfw.mode（SaveMode.Append）.jdbc（MYSQL_CONNECTION_URL，「TableName」，new Properties（））; –

無論您的數據庫是什麼，在簡單的java，scala或python中使用它的api，並對模式RDD執行foreach轉換時，您不能將模式RDD自動插入數據庫，您必須執行映射火花。

來源

2015-09-18 07:00:13

你能舉個例子讓我明白嗎？ –

將您的RDD到數據幀，並寫入到數據庫，

val df = myrdd.toDF() 

df.write.jdbc(…)

我遇到了相同的位置，並鏈接如下簡稱， http://www.sparkexpert.com/2015/04/17/save-apache-spark-dataframe-to-database/

來源

2015-09-18 07:20:33 WoodChopper

Schema RDD如何幫助將數據插入Apache Spark中的數據庫

回答

相關問題