用scrapy抓取重定向的網址

Question

我試圖用scrapy抓取www.mywebsite.com。

www.mywebsite.com是在一個免費的主機地址爲www.mywebsite.freehost.com。我將免費主機重定向到付費域名。

這裏的問題是，scrapy忽略重定向，最終結果是0頁被刮掉。

如何告訴scrapy我需要它抓取重定向的url？我只需要它來抓取重定向的URL，而不是其他網址指向了網站（如Facebook頁面等）

2016-11-27 14:48:42 [scrapy] INFO: Spider opened 
2016-11-27 14:48:42 [scrapy] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min) 
2016-11-27 14:48:42 [scrapy] DEBUG: Telnet console listening on 127.0.0.1:6023 
2016-11-27 14:48:44 [scrapy] DEBUG: Crawled (200) <GET http://www.mywebsite.com/> (referer: None) 
2016-11-27 14:48:44 [scrapy] DEBUG: Filtered offsite request to 'www.mywebsite.freehost.net': <GET www.mywebsite.freehost.net> 
2016-11-27 14:48:44 [scrapy] INFO: Closing spider (finished) 
2016-11-27 14:48:44 [scrapy] INFO: Dumping Scrapy stats: 

Answer 1

該日誌顯示了您的請求已被過濾：

DEBUG: Filtered offsite request to 'www.mywebsite.freehost.net': <GET www.mywebsite.freehost.net> 

將該域名freehost.net添加到您的allowed_domains列表中，或從您的蜘蛛中刪除allowed_domains以允許每個域名。