使用nltk 3.0在python 3.4上進行pos標記時出現編碼錯誤

Question

我在Python 3.4中使用NLTK 3.0，並且由於以下錯誤而無法進行POS標記： 我已閱讀全部similar posts related to similar problems，但找不到解決此問題的方法。大多數帖子提到升級到NLTK 3.0將解決問題，但我已經有NLTK 3.0。根據這些帖子，nltk的data.py改變解決了這個問題，但NLTK人不鼓勵這樣做。 這裏是我的代碼：

from nltk.tag import pos_tag 
from nltk.tokenize import word_tokenize 
pos_tag(word_tokenize("John's big idea isn't all that bad.")) 

，這裏是錯誤：

UnicodeDecodeError: 'ascii' codec can't decode byte 0xcb in position 0: ordinal not in range(128)

有沒有辦法做到這一點沒有操縱data.py？ 任何想法，將不勝感激。

Answer 1

在當前版本的nltk_data中，它們提供了兩個版本的pickle文件：一個用於Pyt例如，有一個english.pickle在nltk_data/taggers/maxent_treebank_pos_tagger和一個在nltk_data/taggers/maxent_treebank_pos_tagger/PY3。最新的nltk由裝飾者py3_data自動處理。

總之，如果您下載最新的nltk_data，但沒有最新的nltk，它可能會加載錯誤的pickle文件，引發UnicodeDecodeError異常。

注意：假設您已經有最新的nltk，您可能會遇到一些路徑錯誤，您可以在pickle文件的路徑中看到兩個「PY3」。這可能意味着一些開發人員不知道py3_data並已冗餘地處理路徑。您可以自己刪除/恢復冗餘。例如，請參閱this pull request。

Answer 2

我沒有任何問題與python3

alvas@ubi:~$ python3 
Python 3.4.0 (default, Apr 11 2014, 13:05:11) 
[GCC 4.8.2] on linux 
Type "help", "copyright", "credits" or "license" for more information. 
>>> from nltk import word_tokenize, pos_tag 
>>> pos_tag(word_tokenize("John's big idea isn't all that bad.")) 
[('John', 'NNP'), ("'s", 'POS'), ('big', 'JJ'), ('idea', 'NN'), ('is', 'VBZ'), ("n't", 'RB'), ('all', 'DT'), ('that', 'DT'), ('bad', 'JJ'), ('.', '.')] 

檢查是否有utf-8爲您sys.defaultencoding：

>>> import sys 
>>> sys.getdefaultencoding() 
'utf-8' 

如果不是有幾件事情，你可以做明確指定Python的編碼，請參見Why should we NOT use sys.setdefaultencoding("utf-8") in a py script?