Python BeautifulSoup提取特定的URL

Question

只能獲取特定的URL嗎？

像：

<a href="http://www.iwashere.com/washere.html">next</a> 
<span class="class">...</span> 
<a href="http://www.heelo.com/hello.html">next</a> 
<span class="class">...</span> 
<a href="http://www.iwashere.com/wasnot.html">next</a> 
<span class="class">...</span> 

輸出應該只有網址，http://www.iwashere.com/

一樣，輸出網址：

http://www.iwashere.com/washere.html 
http://www.iwashere.com/wasnot.html 

我通過串邏輯做到了。有沒有使用BeautifulSoup的直接方法？

Answer 1

可以匹配多個方面，包括使用正則表達式的屬性值：

import re 
soup.find_all('a', href=re.compile('http://www\.iwashere\.com/')) 

相匹配（對於你的例子）：

[<a href="http://www.iwashere.com/washere.html">next</a>, <a href="http://www.iwashere.com/wasnot.html">next</a>] 

所以任何<a>標籤與href屬性該值具有以字符串http://www.iwashere.com/開頭的值。

你也可以遍歷結果，並挑選出只是href屬性：

>>> for elem in soup.find_all('a', href=re.compile('http://www\.iwashere\.com/')): 
...  print elem['href'] 
... 
http://www.iwashere.com/washere.html 
http://www.iwashere.com/wasnot.html 

匹配所有相對路徑來代替，使用負先行斷言測試如果此值不不下手方案（例如http:或mailto:）或雙斜線（//hostname/path）;任何這樣的價值必須是不是相對路徑：

soup.find_all('a', href=re.compile(r'^(?!(?:[a-zA-Z][a-zA-Z0-9+.-]*:|//))')) 

Answer 2

如果您使用BeautifulSoup 4.0.0或更大：

soup.select('a[href^="http://www.iwashere.com/"]')