cloudant火花連接器創建嵌套的JSON模式重複的列名

Question

我用下面的JSON模式在我cloudant數據庫：

{... 
departureWeather:{ 
    temp:30, 
    otherfields:xyz 
}, 
arrivalWeather:{ 
    temp:45, 
    otherfields: abc 
} 
... 
} 

我然後使用cloudant火花的數據加載到數據幀連接器。如果我嘗試選擇這樣的字段：

df.select("departureWeather.temp", "arrivalWeather.temp") 

我最終得到一個數據幀，它有兩個同名的列，例如溫度。它看起來像Spark數據源框架只使用最後一部分來壓扁名稱。

是否有很容易重複刪除列名？

Answer 1

可以使用別名：

df.select(
    col("departureWeather.temp").alias("departure_temp"), 
    col("arrivalWeather.temp").alias("arrival_temp") 
)