如何在sparse pipeline nlp中加載數據框或csv文件？

Question

我想加載數據幀csv到spacy管道。我得到的參數字符串錯誤這裏是我的代碼。

from __future__ import unicode_literals 
nlp = spacy.load('en') 

data = pd.read_csv("sometextdata.csv") 
text = [] 
for line in data.Line: 
    text.append(clean_text(line)) 

    text_spacy = nlp(data['Line']) 
    data['Line'].apply(nlp) 
    document = nlp(text) 
TypeError: Argument 'string' has incorrect type (expected unicode, got str) 

我試圖以不同的方式加載我得到同樣的錯誤。

平臺：操作系統 - Mac和蟒蛇2.7

Answer 1

你應該可變文本轉換爲Unicode。正如你現在可以看到的str類型。作爲例子，你可以嘗試轉換像

document = nlp(unicode(text)) 

或類似

document = nlp(text.decode())