如何在scikit-learn中修復令牌模式？

Question

我使用TfidfVectorizer從scikit學習提取特徵， 且該設置：

def tokenize(text): 
    tokens = nltk.word_tokenize(text) 
    stems = [] 
    for token in tokens: 
     token = re.sub("[^a-zA-Z]","", token) 
     stems.append(EnglishStemmer().stem(token)) 
    return stems 

矢量化= TfidfVectorizer（標記生成器=記號化，小寫=真，STOP_WORDS = '英語'）

後餵養訓練集來向量化，我叫

vectorizer.get_feature_names() 

輸出包含空格一些重複的話：如

u'', u' ', u' low', u' lower', u'lower', u'lower ', u'lower high', u'lower low' 

而且可接受的輸出應該是：

u'low', u'lower', u'lower high', u'lower low' 

我怎樣才能解決呢？謝謝。

Answer 1

你可以不喜歡下面，

>>> l = ['lower low', 'lower high','lower ', ' lower', u'lower', ' ', '', 'low'] 
>>> list(set(i.strip() for i in l if i!=' ' and i)) 
['lower', 'lower low', 'lower high', 'low']