Python：如何從文件標記化？

Question

我在Python中的新手。我想知道如何標記來自文件的twitter數據。

我的代碼是：

with codecs.open('example.csv', 'r',"utf-8") as f: 
    for line in f: 
     tweet = f.readlines() 
     tokens = word_tokenize(tweet["text"]) 
     print(tokens) 

但是錯誤：

--------------------------------------------------------------------------- 
TypeError         Traceback (most recent call last) 
<ipython-input-15-98b6d77c2fcf> in <module>() 
     2  for line in f: 
     3   tweet = f.readlines() 
----> 4   tokens = word_tokenize(tweet["text"]) 
     5   print(tokens) 

TypeError: list indices must be integers or slices, not str 

如何提高我的代碼？

Answer 1

UPDATE：第一

OK，第一件事情...我用this（帶鳴叫sample.csv）文件，以便做我的測試。那麼這裏是一個簡單的代碼按你的例子​​：

import codecs 
import nltk 

nltk.download('punkt') 

with codecs.open('example.csv', 'r') as f: 
    for line in f: 
     tweet = f.readlines() 

     tokenized_sents = [nltk.word_tokenize(i) for i in tweet] 
     for i in tokenized_sents: 
      print(i) 

這是測試，並按照截圖工作：

---

hmmmm ....你逝去的字符串tweet [「text」]）在word_tokenize中接受一個參數爲Integer。

它應該像

with codecs.open('example.csv', 'r',"utf-8") as f: 
    for line in f: 
     tweet = f.readlines() 

     tokenized_sents = [word_tokenize(i) for i in tweet] 
     for i in tokenized_sents: 
      print i 

Answer 2

如果您遍歷行，你不必調用readlines方法：

with codecs.open('example.csv', 'r',"utf-8") as f: 
    for line in f: 
     # line is each line 

如果你想讀的列「鳴叫」使用CSV這樣的：

import csv 
from nltk import word_tokenize 
with open('example.csv', 'r') as csvfile: 
    reader = csv.DictReader(csvfile) 
    for row in reader: 
     tweet = row["tweet"] 
     print("Tweet: %s" % tweet) 
     tokens = word_tokenize(tweet) 
     print(tokens) 

見的Python 3 CSV module和文檔0。