快速消息（MT *）

Question

我正在尋找一個選項來將快速消息（MT101）存儲在hdfs或nonsql數據庫中。我們可以在spark中使用python將它存儲在mongo DB中嗎？ 請讓我知道是否有人在類似的工作

Answer 1

請檢查這個Mongodb火花連接器。

https://github.com/mongodb/mongo-hadoop/wiki/Spark-Usage

有用於Python一個例子。 基本上你需要導入pymongo_spark和pymongo來使用spark連接器。

import pymongo_spark pymongo_spark.activate()

要創建RDD只需調用mongoRDD

RDD = sc.mongoRDD（ '的mongodb：//：/db.collection'）

向該RDD保存回MongoDB的作爲不同的收藏。

rdd.saveToMongoDB（ '的mongodb：//：/db.other.collection'）

謝謝，

查爾斯。