如何以編程方式驗證Spark DataFrame列的數據類型？

Question

我已經在IntelliJ中爲正在進行類型轉換的函數創建了一個單元測試。所以在我的單元測試，我想用assert聲明如下驗證：

assert(testDF.select(col1).dataType == Integer) 

因此，如果上述斷言語句滿足單元測試會取得成功。

任何人都可以請幫忙嗎？

Answer 1

比如，你可以使用模式匹配：

import org.apache.spark.sql.types.IntegerType 

assert(testDF.schema(col1).dataType match { 
    case IntegerType => true 
    case _ => false 
}) 

如果你想匹配另一個特性

import org.apache.spark.sql.types.StructField 

assert(testDF.schema(col1) match { 
    case StructField(_, IntegerType, nullable, _) => true 
    case _ => false 
})