自動保存需要登錄/ HTTPS的網頁

Question

我正在嘗試從網站自動化一些數據記錄。但是，因爲用戶必須通過登錄屏幕，所以wget cronjob將不起作用，並且因爲我需要發出HTTPS請求，所以簡單的Perl腳本也不起作用。我已經嘗試着查看Firefox的「DejaClick」插件，以重播一系列瀏覽器事件（登錄到網站，瀏覽有趣的數據，下載頁面等），但插件的開發人員出於某種原因不包括將頁面保存爲一項功能。

是否有任何快速的方法來完成我在這裏要做的事情？

Answer 1

後來我用機械化wwwsearch.sourceforge.net/mechanize，發現它非常有幫助。它支持urllib2，所以它應該也可以用於我現在閱讀的HTTPS請求。所以我上面的評論可能有希望證明是錯誤的。

Answer 2

您可以使用IRobotSoft web scraper記錄您的操作。在此處查看演示：http://irobotsoft.com/help/

然後使用saveFile（filename，TargetPage）函數來保存目標頁面。