如何在scikit-learn中將數字特徵與文字（字袋）正確結合？

Question

我正在爲網頁編寫分類器，所以我有數字特徵的混合，並且我還想分類文本。我正在使用詞袋方法將文本轉換爲（大）數值向量。代碼結果是這樣的：

from sklearn.feature_extraction.text import CountVectorizer 
from sklearn.feature_extraction.text import TfidfTransformer 
import numpy as np 

numerical_features = [ 
    [1, 0], 
    [1, 1], 
    [0, 0], 
    [0, 1] 
] 
corpus = [ 
    'This is the first document.', 
    'This is the second second document.', 
    'And the third one', 
    'Is this the first document?', 
] 
bag_of_words_vectorizer = CountVectorizer(min_df=1) 
X = bag_of_words_vectorizer.fit_transform(corpus) 
words_counts = X.toarray() 
tfidf_transformer = TfidfTransformer() 
tfidf = tfidf_transformer.fit_transform(words_counts) 

bag_of_words_vectorizer.get_feature_names() 
combinedFeatures = np.hstack([numerical_features, tfidf.toarray()]) 

這樣的工作，但我關心的準確性。請注意，有4個對象，只有兩個數字特徵。即使是最簡單的文本也能得到具有9個特徵的向量（因爲在語料庫中有9個不同的單詞）。顯然，在真實文本中，將會有數百或數千個不同的單詞，所以最終的特徵向量將是數字特徵，但是基於1000個以上的單詞。由於這個原因，分類器（SVM）不會將數字特徵上的單詞以100到1的比例嚴重加權嗎？如果是這樣，我該如何補償，以確保單詞包的權重等於數字特徵？

Answer 1

您可以通過使用Tf–idf加權計數：

import numpy as np 
from sklearn.feature_extraction.text import CountVectorizer, TfidfTransformer 

np.set_printoptions(linewidth=200) 

corpus = [ 
    'This is the first document.', 
    'This is the second second document.', 
    'And the third one', 
    'Is this the first document?', 
] 

vectorizer = CountVectorizer(min_df=1) 
X = vectorizer.fit_transform(corpus) 

words = vectorizer.get_feature_names() 
print(words) 
words_counts = X.toarray() 
print(words_counts) 

transformer = TfidfTransformer() 
tfidf = transformer.fit_transform(words_counts) 
print(tfidf.toarray()) 

輸出是這樣的：

# words 
[u'and', u'document', u'first', u'is', u'one', u'second', u'the', u'third', u'this'] 

# words_counts 
[[0 1 1 1 0 0 1 0 1] 
[0 1 0 1 0 2 1 0 1] 
[1 0 0 0 1 0 1 1 0] 
[0 1 1 1 0 0 1 0 1]] 

# tfidf transformation 
[[ 0.   0.43877674 0.54197657 0.43877674 0.   0.   0.35872874 0.   0.43877674] 
[ 0.   0.27230147 0.   0.27230147 0.   0.85322574 0.22262429 0.   0.27230147] 
[ 0.55280532 0.   0.   0.   0.55280532 0.   0.28847675 0.55280532 0.  ] 
[ 0.   0.43877674 0.54197657 0.43877674 0.   0.   0.35872874 0.   0.43877674]] 

有了這表示你應該能夠合併進一步二進制功能訓練SVC。