NLTK和語言檢測

Question

如何檢測使用NLTK編寫文本的語言？

我見過的例子使用nltk.detect，但是當我在我的Mac上安裝它時，我找不到這個包。

Answer 1

你有沒有遇到下面的代碼片段？

english_vocab = set(w.lower() for w in nltk.corpus.words.words()) 
text_vocab = set(w.lower() for w in text if w.lower().isalpha()) 
unusual = text_vocab.difference(english_vocab) 

從http://groups.google.com/group/nltk-users/browse_thread/thread/a5f52af2cbc4cfeb?pli=1&safe=active

或者下面的演示文件？

https://web.archive.org/web/20120202055535/http://code.google.com/p/nltk/source/browse/trunk/nltk_contrib/nltk_contrib/misc/langid.py

Answer 2

雖然這不是在NLTK，我曾與另一種基於Python庫很大的成績：

https://github.com/saffsd/langid.py

這是非常簡單的導入和包括大量的語言在其模型中。

Answer 3

這個圖書館不是來自NLTK，但肯定有幫助。

$ sudo的PIP安裝langdetect

支持Python版本2.6，2.7，3.x的

>>> from langdetect import detect 

>>> detect("War doesn't show who's right, just who's left.") 
'en' 
>>> detect("Ein, zwei, drei, vier") 
'de' 

https://pypi.python.org/pypi/langdetect?

P.S .:不要指望這總是正確的工作：

>>> detect("today is a good day") 
'so' 
>>> detect("today is a good day.") 
'so' 
>>> detect("la vita e bella!") 
'it' 
>>> detect("khoobi? khoshi?") 
'so' 
>>> detect("wow") 
'pl' 
>>> detect("what a day") 
'en' 
>>> detect("yay!") 
'so'