需要一個python模塊來填充文本文檔

Question

我需要一個很好的python模塊來填充預處理階段的文本文檔。

我發現這一個

http://pypi.python.org/pypi/PyStemmer/1.0.1

，但我無法找到INT提供的鏈接的文檔。

我有人知道在哪裏可以找到文檔或任何其他好的干擾算法，請幫助。

Answer 1

你可能想嘗試NLTK

>>> from nltk import PorterStemmer 
>>> PorterStemmer().stem('complications') 

Answer 2

所產生的Python模塊具有像搬運工，Porter2，Paice甲殼，洛文斯和制止各種算法實現。 已經在這裏討論http://pypi.python.org/pypi/stemming/1.0

>> from stemming.porter2 import stem 
    >> stem("factionally") 
    faction 

Answer 3

所有這些詞幹是算法的詞幹，因此他們總能產生意想不到的結果，如

In [3]: from nltk.stem.porter import * 

In [4]: stemmer = PorterStemmer() 

In [5]: stemmer.stem('identified') 
Out[5]: u'identifi' 

In [6]: stemmer.stem('nonsensical') 
Out[6]: u'nonsens' 

要正確獲取根字一個需要基於字典詞幹這樣作爲Hunspell Stemmer.Here在下面的link中是一個python實現。示例代碼在這裏

>>> import hunspell 
>>> hobj = hunspell.HunSpell('/usr/share/myspell/en_US.dic', '/usr/share/myspell/en_US.aff') 
>>> hobj.spell('spookie') 
False 
>>> hobj.suggest('spookie') 
['spookier', 'spookiness', 'spooky', 'spook', 'spoonbill'] 
>>> hobj.spell('spooky') 
True 
>>> hobj.analyze('linked') 
[' st:link fl:D'] 
>>> hobj.stem('linked') 
['link'] 

Answer 4

PyStemmer是雪球詞幹庫的Python接口。

文檔可以在這裏找到： https://github.com/snowballstem/pystemmer/blob/master/docs/quickstart.txt https://github.com/snowballstem/pystemmer/blob/master/docs/quickstart_python3.txt

Answer 5

的gensim package爲主題建模自帶波特施特默爾算法：

>>> from gensim import parsing 
>>> gensim.parsing.stem_text("trying writing nonsense") 
'try write nonsens' 

的PorterStemmer是gensim實現的唯一所產生的選擇。

附註：我可以想象（沒有進一步的參考），大多數與文本挖掘相關的模塊都有其自己的實現，用於簡單的預處理過程，如Porter的詞幹，空格刪除和停用詞移除。