如何使用Python從MongoDB tweet數據庫創建.csv文件

Question

我在MongoDB中創建了一個數據庫，其中包含基於tweepy和NLTK的tweet和感傷分析。在使用MongoXport創建一個帶有MongoDB中存儲的數據庫數據集的CSV文件後，我決定探索更靈活的其他選項（特別是使用其他分隔符而不是「昏迷」），例如，使用Python本身來生成CSV文件。到目前爲止，我可以成功打印數據集，糾正ASCII和Unicode問題並使用「|」作爲分隔符，但是我很難從打印結果創建一個CSV文件。到目前爲止的代碼是如下：

import json 
import csv 
from pymongo import MongoClient 

client = MongoClient('localhost', 27017) 
db = client['twitter_db_stream_1'] 
collection = db['twitter_collection'] 
data_python = collection.find({"user.location":{"$exists":True},"user.location":{"$ne":"null"}},{"created_at":1,"text":1,"user.name":1,"user.location":1,"geo.coordinates":1,"sentiment_value":1,"confidence_value":1}) 

for data in data_python: 
    print(data['created_at'],'|',data['text'].encode('utf8'),'|',data['user']['name'].encode('utf8'),'|',data['user']['location'],'|',data['sentiment_value'],'|',data['confidence_value']) 

的打印結果如下：

Tue Apr 18 06:51:58 +0000 2017 | b'Samsung Galaxy S8 International Giveaway @androidauth #giveaway | b'Matt Torok' | None | pos | 1.0 

我嘗試添加下面的一段使用csv.writer代碼，基於從tutorias一些實例中，但它不工作...

csv_file = open('Sentiment_Analisys.csv', 'wb') 
writer = csv.writer(csv_file) 

fields = [["created_at"],["text"],["user.name"],["user.location"],["sentiment_value"],["confidential_value"]] #field names 
writer.writerow(fields) 

for data in data_python: 
    writer.writerow(data['created_at'],data['text'].encode('utf8'),data['user']['name'].encode('utf8'),data['user']['location'],data['sentiment_value'],data['confidence_value']) 

csv_file.close() 

請問，有人可以給我一些指導，如何從上面的打印結果創建此CSV文件？

非常感謝！

Answer 1

您似乎已經複製了Python 2.x示例，但正在編寫Python 3.x代碼。這兩個版本的CSV使用情況略有不同。另外，在處理文件時最好使用with語句，這樣可以避免在最後顯式關閉文件。

writerow()取得一個字符串列表。你的字段名被定義爲一個列表的列表，您的信息writerow()需要轉換到使用列表如下：

field_names = ["created_at", "text", "user.name", "user.location", "sentiment_value", "confidential_value"] 

with open('Sentiment_Analisys.csv', 'w', newline='') as f_output: 
    csv_output = csv.writer(f_output) 
    csv_output.writerow(field_names) 

    for data in data_python: 
     csv_output.writerow(
      [ 
      data['created_at'],data['text'].encode('utf8', 'ignore'), 
      data['user']['name'].encode('utf8'), 
      data['user']['location'], 
      data['sentiment_value'], 
      data['confidence_value'] 
      ]) 

Answer 2

逗人，下面我想和大家分享的最終代碼，獲得的支持後，在stackoverflow好朋友。 Mongoexport有其優點，但如果您需要一些靈活性來定義自己的分隔符來創建CSV文件，則此代碼可能很有趣。唯一的問題是，你可能會失去「表情符號」字符，因爲它們通過UTF-8轉換爲文本代碼。無論如何，根據您的要求，這種限制可能不成問題。根據上面發佈的代碼，我從Mongo Client傳輸的查詢"user.location":{"$ne":"null"}}有所不同，但在Python代碼中，您應該將"null"更改爲"None"。我希望我的旅程能夠在下面找到正確的代碼，並且我的朋友在這篇文章中給予的支持，對未來的某個人可能會有用！最好的祝福！

import pymongo 
import json 
import csv 
import numpy 
import sys 
from pymongo import MongoClient 

client = MongoClient('localhost', 27017) 
db = client['twitter_db_stream_1'] 
collection = db['twitter_collection'] 
data_python = collection.find({"user.location":{"$exists":True},"user.location":{"$ne":None}},{"created_at":1,"text":1,"user.name":1,"user.location":1,"sentiment_value":1,"confidence_value":1}) 

field_names = ["created_at", "text", "user.name", "user.location", "sentiment_value", "confidential_value"] 

with open('Sentiment_Analisys.csv', 'w', newline='') as f_output: 
    csv_output = csv.writer(f_output, delimiter="|") 
    csv_output.writerow(field_names) 

    for data in data_python: 
     csv_output.writerow(
      data['created_at'], 
      data['text'].encode('utf8', 'ignore'), 
      data['user']['name'].encode('utf8'), 
      data['user']['location'], 
      data['sentiment_value'], 
      data['confidence_value'] 
      ])