使用urllib2查找和下載網站的圖像

Question

我正在寫一個給定http地址的小程序，它會查找並下載其中的圖像。我現在的情況是這樣的：

import urllib2, html 

class HTMLNode(object): 
    def __init__(self,tag,attr,content,closed=True): 
     self.tag = tag 
     self.attr = attr 
     self.content = content 
     self.closed = closed 

    def istext(self): 
     return self.tag == '_text_' 

    def tostring(self): 
     if self.istext(): 
      return self.content 
     ret = '<'+self.tag 
     for k, v in self.attr.items(): 
      ret += ' '+k+'="'+v+'"' 
     ret += '>' 
     if self.closed: 
      for c in self.content: 
       ret += c.tostring() 
      ret += '</'+self.tag+'>' 
     return ret 

    def find_by_tag(self,tag): 
      ret = [] 
      if self.tag == tag: ret += [self] 
      if not self.istext(): 
       for c in self.content: 
        ret += c.find_by_tag(tag) 
      return ret 

def imagegrab(url): 
    req = urllib2.Request(url) 
    response = urllib2.urlopen(req) 
    output = open(url, 'wb') 
    output.write(response.read()) 

缺少的環節是找到一種方法來使用HTMLNode類的「find_by_tag」功能，使程序將掃描的「」標籤，並從網站上下載的圖片。有人可以幫助我嗎？

Answer 1

其他人已經爲你做了這項工作。具體來說，請看BeautifulSoup，這是一個Python的HTML解析庫。你會這樣做

soup = bs4.BeautifulSoup(...) 
for img in soup("img"): 
    print img.src 

或類似;顯然，圖書館比這更強大。

你也可以考慮使用requests，它是一個包含一個簡單的API的urllib系列庫的包裝器。爲此，你會做

soup = bs4.BeautifulSoup(requests.get(url).text)