爲什麼我不能導入org.apache.spark.sql.DataFrame

Question

我有Maven依賴關係spark-sql_2.1.0和spark-hive_2.1.0。但是，當我嘗試import org.apache.spark.sql.DataFrame時，出現錯誤。但是導入 org.apache.spark.sql.SQLContext是可以的，沒有錯誤。爲什麼？

Answer 1

DataFrame已成爲type DataFrame = Dataset[Row]。 Java沒有類型別名，所以它在Java中不可用。現在，您應該使用新的類型Dataset<Row>，所以導入這兩個org.apache.spark.sql.Dataset和org.apache.spark.sql.Row

Answer 2

import org.apache.spark.sql.DataFrame 

作品scala而不是java因爲沒有爲java開發庫。您可以使用dataSet作爲Spark SQL, DataFrames and Datasets Guide解釋

您可以導入以下

import org.apache.spark.sql.Dataset; 
import org.apache.spark.sql.Row; 

，並把它們作爲

Dataset<Row> peopleDataFrame = spark.createDataFrame(rowRDD, schema); 

或者

Dataset<Row> peopleDF = spark.createDataFrame(peopleRDD, Person.class); 

或者

Dataset<Row> usersDF = spark.read().load("examples/src/main/resources/users.parquet");