如何使用Python版本3x從網站讀取html正文

Question

我想連接並接收來自特定網站鏈接的http響應。 我有很多的Python代碼：

import urllib.request 
import os,sys,re,datetime 

fp = urllib.request.urlopen("http://www.python.org") 
mybytes = fp.read() 

mystr = mybytes.decode(encoding=sys.stdout.encoding) 
fp.close() 

當我通過響應的參數： BeautifulSoup(str(mystr), 'html.parser') 得到清理HTML文本，我得到了以下錯誤：

return codecs.charmap_encode(input,self.errors,encoding_table)[0] 
UnicodeEncodeError: 'charmap' codec can't encode character '\u25bc' in position 1139: character maps to <undefined>. 

問題如何我可以解決這個問題嗎？

完整代碼：

import urllib.request 
import os,sys,re,datetime 
fp = urllib.request.urlopen("http://www.python.org") 
mybytes = fp.read() 

mystr = mybytes.decode(encoding=sys.stdout.encoding) 
fp.close() 


from bs4 import BeautifulSoup 
soup = BeautifulSoup(str(mystr), 'html.parser') 
mystr = soup; 
print(mystr.get_text()) 

Answer 1

BeautifulSoup是心甘情願爲消耗urlopen返回的類文件對象：如果您使用requests庫就能避免這些併發症

from urllib.request import urlopen 
from bs4 import BeautifulSoup 

with urlopen("...") as website: 
    soup = BeautifulSoup(website) 

print(soup.prettify()) 

Answer 2

： ）

import requests 
fp = requests.get("http://www.python.org") 
mystr = fp.text 

from bs4 import BeautifulSoup 
soup = BeautifulSoup(mystr, 'html.parser') 
mystr = soup; 
print(mystr.get_text())