NLTK樸素貝葉斯分類器奇怪的結果

Question

我試圖用一個nltk樸素分類器來分類電影的流派。但是我得到了一些奇怪的結果。目前它只根據輸入的流派數量進行猜測。

如果我輸入兩個動作電影，並且每個猜測都會有一個喜劇動作。當然，我希望它基於輸入的文本：

def RemoveStopWords(wordText): 
    keep_list = [] 
    for word in wordText: 
     if word not in wordStop: 
      keep_list.append(word.lower()) 

    return set(keep_list) 

def getFeatures(element): 

    splitter=re.compile('\\W*') 
    f = {} 
    plot = [s for s in RemoveStopWords(splitter.split(element['imdb']['plot'])) 
    if len(s)>5 and len(s) < 15] 

    for w in plot: 
      f[w]= w 

    return f 

def FindFeaturesForList(MovieList): 
    featureSet = [] 
    for w in MovieList: 
     print w['imdb']['title'] 
     try: 
      for genre in w['imdb']['genres']: 
       featureSet.append((getFeatures(w), genre)) 
     except: 
      print "Error when retriving genre, skipping element" 

    return featureSet 

featureList = FindFeaturesForList(trainset) 
cl = nltk.NaiveBayesClassifier.train(featureList) 

所以每當我做一個cl.classify（電影），它返回的最常見的輸入風格，我究竟做錯了什麼？

Answer 1

在nltk書中的電影評論classification example中注意到，收集了所有電影中所有單詞的頻率，然後只有最常見的單詞被選爲特徵鍵。

all_words = nltk.FreqDist(w.lower() for w in movie_reviews.words()) 
word_features = all_words.keys()[:2000] 

我認爲需要注意的是，這是一個選擇是很重要的。功能鍵的選擇不是強制性的。其他一些聰明的功能選擇可能會導致更好的分類器。選擇好的特徵是科學背後的藝術。

不管怎樣，也許嘗試使用您的分級相同的想法：

def getFeatures(text, word_features): 
    text = text.lower() 
    f = {word: word in text for word in word_features} 
    return f 


def FindFeaturesForList(MovieList): 
    featureSet = [] 
    splitter = re.compile('\\W*') 
    all_words = nltk.FreqDist(
     s.lower() 
     for w in MovieList 
     for s in RemoveStopWords(splitter.split(w['imdb']['plot'])) 
     if len(s) > 5 and len(s) < 15) 
    word_features = all_words.keys()[:2000] 
    for w in MovieList: 
     print w['imdb']['title'] 
     try: 
      for genre in w['imdb']['genres']: 
       featureSet.append(
        (getFeatures(w['imdb']['plot'], word_features), genre)) 
     except: 
      print "Error when retriving genre, skipping element" 

    return featureSet