抓取基於登錄的網站的最佳方式是什麼？

Question

我必須從一個網站自動化文件下載活動（類似於，比方說，yahoomail.com）。要訪問包含此文件下載鏈接的頁面，我必須登錄，從一個頁面跳轉到另一個頁面以提供諸如日期等參數，最後點擊下載鏈接。

我想到的三種方法：

1. 使用華廷和開發定期執行一些代碼華廷通過頁面來遍歷並下載該文件一個窗口服務。

2. 使用的AutoIt（沒有太多的想法）

3. 使用一個簡單的HTML解析技術（這裏還有幾個問題例如，如何做一個登錄後保持會話？怎麼這件事以後做註銷？

Answer 1

嘗試Selenium腳本，與Selenium Remote Control自動化。

Answer 2

Free Download Manager是偉大的爬行，你可以使用wget。

Answer 3

我使用scrapy.org，它是一個python庫。實際上它很安靜。易於編寫蜘蛛，它的功能非常廣泛。登錄後可以在網站上搜索網站。

這是一個蜘蛛的例子，它會在認證之後抓取一個網站。

class LoginSpider(BaseSpider): 
    domain_name = 'example.com' 
    start_urls = ['http://www.example.com/users/login.php'] 

    def parse(self, response): 
     return [FormRequest.from_response(response, 
       formdata={'username': 'john', 'password': 'secret'}, 
       callback=self.after_login)] 

    def after_login(self, response): 
     # check login succeed before going on 
     if "authentication failed" in response.body: 
      self.log("Login failed", level=log.ERROR) 
      return 

     # continue scraping with authenticated session... 

Answer 4

我使用mechanize爲Python成功的幾件事情。它很容易使用和支持HTTP身份驗證，表單處理，cookie，自動HTTP重定向（30X），......基本上唯一缺少的是JavaScript，但是如果您需要依賴JS，那麼您總是非常麻煩。