Scrapy - 使用scrapy是有可能登錄到一個HTTPS網站

Question

我試圖做一個網絡爬蟲將使用我的憑據登錄到一個HTTPS的網站，然後抓取網站的某些部分。我現在用的是Scrapty在python，但我不是100％肯定，如果這是可能的，因爲在網站上我沒有看到有關HTTPS東西只有以下：

*cookies and session handling 
*HTTP compression 
*HTTP authentication 
*HTTP cache 

如果，所以任何想法如何開始？

Answer 1

Scrapy將支持https by default，只是一定要使用正確的協議在你的網址，當你啓動刮刀。