用機械化下載文件

Question

我有一個打開頁面的瀏覽器實例。我想下載並保存所有鏈接（它們是PDF）。 有人知道該怎麼做嗎？

THX

Answer 1

可能不是你要找的答案，但我已經使用LXML並請求庫一起自動錨取：

相關LXML例子http://lxml.de/lxmlhtml.html#examples（與要求更換的urllib）

而請求庫主頁http://docs.python-requests.org/en/latest/index.html

它不像機械化一樣緊湊，但提供更多的控制。

Answer 2

import urllib, urllib2,cookielib, re 
#http://www.crummy.com/software/BeautifulSoup/ - required 
from BeautifulSoup import BeautifulSoup 

HOST = 'https://www.adobe.com/' 

cj = cookielib.CookieJar() 
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cj)) 

req = opener.open(HOST + 'pdf') 
responce = req.read() 

soup = BeautifulSoup(responce) 
pdfs = soup.findAll(name = 'a', attrs = { 'href': re.compile('\.pdf') }) 
for pdf in pdfs: 
    if 'https://' not in pdf['href']: 
     url = HOST + pdf['href'] 
    else: 
     url = pdf['href'] 
    try: 
     #http://docs.python.org/library/urllib.html#urllib.urlretrieve 
     urllib.urlretrieve(url) 
    except Exception, e: 
     print 'cannot obtain url %s' % (url,) 
     print 'from href %s' % (pdf['href'],) 
     print e 
    else: 
     print 'downloaded file' 
     print url