MongoDB Spark衝突數據類型

Question

如何在將Mongodb集合映射到Spark數據框時避免衝突數據類型。我們不能將衝突數據類型轉換爲字符串。在執行選擇操作時出現錯誤。

我使用的MongoDB-火花連接器2.10：1.0.0

Answer 1

的ConflictType表示該字段被發現含有不能被強制轉換爲統一的類型不同的數據類型。換句話說，它包含不同類型的數據。即數字和字符串或字符串。 通過運行printSchema()來檢查ConflictType的數據幀字段。

在MongoDB Spark Connector v1，解決方法是手動將DataFrame的架構設置爲string。

在MongoDB Spark連接器v2中，衝突類型的基本類型將在strings中。另請參閱SPARK-84。