2016-09-08 30 views
1

我想使用Spark SQLContext將記錄插入到表中。使用postgres和java進行Spark插入操作

這裏是示例代碼我已經做了檢索數據

 Class.forName(dbDriver); 

     Map<String, String> options = new HashMap<String, String>(); 
     options.put("url", dbUrl); 
     options.put("dbtable", dbTable); 
     options.put("driver", dbDriver); 

     SparkConf conf = new SparkConf().setAppName("JAVA_SPARK") 
       .setMaster("local[2]").set("spark.ui.port‌​", "7077"); 

     JavaSparkContext jsc = new JavaSparkContext(conf); 

     SQLContext sqlContext = new SQLContext(jsc); 

     DataFrame dframe = sqlContext.read().format("jdbc") 
       .options(options).load(); 

     dframe.show(); 

如何在插入新的記錄表? dframe.show()操作對我來說工作正常。

回答

0

我想星火-SQL不提供這樣的功能,截至目前,你可以讓自己的實施方法,然後也許這樣稱呼它的foreach行動中落實當前場景的解決方案,

欲瞭解更多信息和實施此的最佳實踐,請參考此處:Inserting Analytic data from Spark to Postgres