編碼錯誤

Question

代碼可以在這裏下載： https://github.com/kelrien/pyretrieval/

每當我執行我的example.py，以下錯誤彈出：

Traceback (most recent call last): 
    File "<stdin>", line 1, in <module> 
    File "example.py", line 21, in <module> 
    docs.append(proc.process(line.decode("utf-8"))) 
    File "pyretrieval\processor.py", line 61, in process 
    tokens = self.tokenize(string) 
    File "pyretrieval\processor.py", line 47, in tokenize 
    temp = temp.replace(char, self.replace_characters[char]) 
UnicodeDecodeError: 'ascii' codec can't decode byte 0xfc in position 0: ordinal not in range(128) 

正如你所看到的 - 嘗試替換我指定的德語元音變音時發生錯誤。如果我不使用replace_characters字典並忽略這些變音符號，我沒有收到錯誤。

我已經嘗試了很多東西：

• 使用的編解碼器模塊
• 使用編碼（ 「UTF-8」）和解碼（ 「UTF-8」）在不同

Answer 1

我找到了一個解決方案。我必須編碼我想替換爲unicode的字符（在processor.py中）。

我已經將必要的更改推送給github。 https://github.com/kelrien/pyretrieval