將Java ResultSet轉換爲Spark DataFrame

我使用熊貓來操作Python中的數據。將Java ResultSet轉換爲Spark DataFrame

我經歷了Spark的DataFrame，並希望將此結構用於我正在用Java開發的程序。

我在SQL Server中有我的數據，我有ResultSet中的SQL結果。我想將其轉換爲DataFrame

我該如何做這種轉換？有沒有更簡單的方法將SQL結果直接轉換爲DataFrame？

編輯：我試圖通過SparkSession連接SQL Server的詳情如下

public static SparkSession spark = SparkSession 
     .builder() 
      .master("local[*]") 
     .appName("Java Spark SQL basic example") 
     .getOrCreate(); 

    Map<String, String> options = new HashMap<String, String>(); 
    options.put("url", "jdbc:jtds:sqlserver://<clipped>"); 
    spark.read().format("jdbc").options(options).load(); 

    Dataset<Row> sqlDF = spark.sql("SELECT TOP 1 * FROM HEDE);

現在我越來越Exception in thread "main" java.lang.RuntimeException: Option 'dbtable' not specified如何/我在哪裏可以指定表？

來源

2016-11-11 Bedi Egilmez

您可以選擇指定表：

options.put("dbtable", "some_table");

或使用JDBC方法：

spark.read().jdbc("jdbc:jtds:sqlserver://<clipped>", "some_table", properties)

其中properties是java.util.Properties。

來源

2016-11-11 01:00:46

將Java ResultSet轉換爲Spark DataFrame

回答

相關問題