加載完成後直接調用inferSchema spark-csv

Question

有沒有一種方法可以在加載完成後直接調用inferSchema？

例：

val df = sqlContext.read.format("com.databricks.spark.csv"). 
        option("header", "true"). 
        option("inferSchema", "false").load(location) 
df.schema 

我想打電話給一些東西象下面這樣：

val newdf = df.inferSchema() 
newdf.printSchema() 

問候

Answer 1

這不可能，除非你定義一個新的模式，並將其應用到新建DataFrame。

您也可以使用csv源文件讀取模式並將其存儲起來，但這樣會以任何方式掃描數據。

你還沒有推斷出一個模式，spark-csv認爲每一列都是一個字符串。