火花閱讀json中的重複列

Question

我運行spark.read.json(json_file_path)在平面結構的json文件上。

我得到的錯誤信息：

Reference 'col' is ambiguous, could be: col#29582L, col#29632 

這是可能的，這是因爲大小寫不同的名稱另一列：Col。如果我無法修改json數據，這怎麼能解決？

Answer 1

參考R case of the problem並搜索配置。

我發現

spark.conf.set("spark.sql.caseSensitive", "true") 

從https://databricks.com/blog/2016/08/15/how-to-use-sparksession-in-apache-spark-2-0.html