BeautifulSoup輸出編碼：如何結合soup.p.encode（「utf-8」）與soup.select（'a'）＆.getText（）

Question

關於Python BeautifulSoup輸出編碼（使用Python 3.4.4）：

如何結合soup.p.encode（「utf-8」）與soup.select（'a'）& .getText（）？

I.e.我可以做兩個之一，但不知道如何做兩個... - >我想使用soup.p.encode（「utf-8」），因爲例如，在我的輸出中，「Aloë」會另外轉換爲「alo？」。

但我也想使用湯對象（類型：）通過「soup.select（'a'）和」.getText（）「來選擇href對象。如果我做了soup.p.encode 「utf-8」）首先這是不可能的，因爲我得到「AttributeError：'字節'對象沒有'select'屬性。

但是，似乎一旦我將湯對象轉換爲一個列表，然後是一個字符串，那麼獲取UTF-8字符爲時已晚？例如。 text = text.decode（'utf-8'）不起作用。我真的可以請一些建議！

FYI我的代碼：

import requests, bs4 

res = requests.get(url) 
try: 
    res.raise_for_status() 
except Exception as exc: 
    print('There was a problem: %s' % (exc)) 

soup = bs4.BeautifulSoup(res.text,"html.parser", from_encoding="UTF-8") 
#soup = soup.encode("utf-8") 
#type: <class 'bs4.BeautifulSoup'> 
#print(soup.original_encoding) -> None... 
aElems = soup.select('a') 
#type: <class 'list'> 
lengthElems = len(aElems) 

for i in range (0, lengthElems): 
    text = aElems[i].getText() 
    #text = text.decode('utf-8') 
    link = aElems[i].get('href') 

Answer 1

只需將您的系統默認編碼到腳本內UTF-8。

在你的文件的頂部，你想這樣的：

import sys 

if __name__ == "__main__": 
    reload(sys) 
    sys.setdefaultencoding("utf-8")