網絡抓取：全部href

Question

我寫了一個小腳本，用python從網頁中讀取所有的hrefs。 但它有一個問題。例如，它不會讀取href="pages.php?ef=fa&page=n_fullstory.php&NewsIDn=1648"。

代碼：

import urllib 
import re 

urls = ["http://something.com"] 

regex='href=\"(.+?)\"' 
pattern = re.compile(regex) 

htmlfile = urllib.urlopen(urls[0]) 
htmltext = htmlfile.read() 
hrefs = re.findall(pattern,htmltext) 
print hrefs 

任何人可以幫助我嗎？謝謝。

Answer 1

使用BEautifulSoup和請求靜態網站。它是一個偉大的網頁報廢模塊，使用代碼，很容易就可以獲得href標籤內的值。希望它有幫助

import requests 
from bs4 import BeautifulSoup 

url = 'whatever url you want to parse' 

result = requests.get(url) 

soup = BeautifulSoup(result.content,'html.parser') 

for a in soup.find_all('a',href=True): 
    print "Found the URL:", a['href']