0
有什麼方法可以使用spark-mongo連接器來基於數據框中的某個字段來插入Mongo Collection嗎?Spark scala使用spark-mongo連接器來插入
有什麼方法可以使用spark-mongo連接器來基於數據框中的某個字段來插入Mongo Collection嗎?Spark scala使用spark-mongo連接器來插入
由於MongoDB Connector for Spark版本1.1或更高版本(目前版本爲2.2) 當你如下執行save()
:
dataFrameWriter.write.mongo()
dataFrameWriter.write.format("com.mongodb.spark.sql").save()
如果數據幀包含_id
領域,數據將是upserted。這意味着任何具有相同_id
值的現有文檔都將被更新,並且集合中不存在_id
值的新文檔將被插入。
另請參閱MongoDB Spark SQL瞭解更多信息和摘要。
謝謝,我希望有一種基於我的數據集中的另一個領域做到這一點的方法 –