腳本沒有下載大圖像

Question

我使用this腳本從同一個html頁面下載圖像。但如果圖像足夠大，這個腳本不能正確下載 - 所有圖像都是1,15 Kb，不顯示。 我該如何解決它？怎麼了？

Answer 1

如果您下載並在http://tema.ru/travel/new-york.2011.11/檢查HTML，你看到的東西像

<img src="IMG_5072.jpg" alt="" width="1000" height="667" border="1" /> 

所以這個頁面是使用相對鏈接。

線

parsed[2] = image["src"] 

改變parsed從

['http', 'tema.ru', '/travel/new-york.2011.11/', '', '', ''] 

到

['http', 'tema.ru', 'IMG_5072.jpg', '', '', ''] 

，然後形成與

url = urlparse.urlunparse(parsed) 

新網址

其中url到http://tema.ru/IMG_5072.jpg哪個不存在。 正確的網址是http://tema.ru/travel/new-york.2011.11/IMG_5072.jpg。

我們可以與

url = urlparse.urljoin(base_url,image['src']) 

該URL所以儘量

""" 
http://stackoverflow.com/a/258511/190597 
Author: Ryan Ginstrom 
dumpimages.py 
    Downloads all the images on the supplied URL, and saves them to the 
    specified output file ("/tmp" by default) 

Usage: 
    python dumpimages.py http://example.com/ [output] 
""" 
import os 
import sys 
import urllib 
import urllib2 
import urlparse 
import argparse 
import BeautifulSoup 

def main(base_url, out_folder): 
    """Downloads all the images at 'url' to out_folder""" 
    soup = BeautifulSoup.BeautifulSoup(urllib2.urlopen(base_url)) 
    for image in soup.findAll("img"): 
     src = image['src'] 
     print "Image: {s}".format(s=src) 
     _, filename = os.path.split(urlparse.urlsplit(src).path) 
     outpath = os.path.join(out_folder, filename) 
     url = urlparse.urljoin(base_url, src) 
     urllib.urlretrieve(url, outpath) 

if __name__ == "__main__": 
    parser = argparse.ArgumentParser() 
    parser.add_argument('url') 
    parser.add_argument('out_folder', nargs = '?', default = '/tmp') 
    args = parser.parse_args() 
    main(args.url, args.out_folder)