如何執行Spark DataFrame的數據類型從json讀取

Question

當我讀取一個json（沒有模式）到一個DataFrame時，所有數字類型都變爲Long。有沒有一種強制Integer類型而不提供完全指定的json模式的方法？

Answer 1

您可以將數據幀轉換成一個數據集與案例類

val df = Seq((1,"ab"),(3,"ba")).toDF("A","B") 

case class test(A: Int, B: String) 
df.as[test] 

或將複製列，你重鑄DF。

import org.apache.spark.sql.types.{StringType} 
df.withColumn("newA", 'A.cast(StringType))