在Python中使用Unicode爲波斯語

Question

我正在寫一個腳本來從一個語料庫文件中讀取並查找後綴。由於在語料庫中有波斯語單詞，因此它是UTF-8編碼，但是當我使用波斯語後綴進行搜索時，我無法獲得結果，另一方面，英語結果很好。

from __future__ import unicode_literals 
import nltk 
import sys 


for line in open("corpus.txt"): 
for word in line.split(): 
    if word.endswith('ب'): 
     print (word) 

Answer 1

在Python 3，你可以通過encoding=utf-8到open：

with open("corpus.txt", encoding="utf-8") as fp: 
    for line in fp: 
     for word in line.split(): 
      process(word) 

在Python 2，你需要做這樣的事情：

import codecs 
with codecs.open("corpus.txt", encoding="utf-8") as fp: 
    for line in fp: 
     for word in line.split(): 
      process(word)