文本分類 - 使用stemmer會降低結果嗎？

Question

還有this關於阿拉伯語情感分析的文章。

在5頁開始的時候說：

「實驗也表明，特徵提取和分類之前所產生的話幾乎總是降低的結果」。

後來在同一頁上，他們指出：

「......和阿拉伯光詞幹用於詞幹的單詞」

嗯我認爲，一個stemmer/lemmatizer是總是用於文本分類之前，爲什麼他說它會降低結果？

謝謝:)

Answer 1

我不知道阿拉伯語，也可能是具體在很多方面，我的回答認爲英語。

恩我以爲在文本分類之前總是使用詞幹分析器/詞法分析器，爲什麼他說它會降低結果呢？

不，它完全取決於任務。如果你想提取一些文本的一般概念，那麼詞幹化/ lematization是一個很好的步驟。但在分析每個單詞很有價值的短小塊時，詞幹簡單地破壞其意義。特別是 - 在情緒分析中，詞幹可能會摧毀這個詞的情緒。