避免重定向

我試圖解析一個站點（用ASP編寫），並且抓取工具被重定向到主站點。但我想要做的是解析給定的網址，而不是重定向的網址。有沒有辦法做到這一點？。我試圖在settings.py文件中添加「REDIRECT = False」而沒有成功。避免重定向

下面是履帶一些輸出：

2011-09-24 20:01:11-0300 [coto] DEBUG: Redirecting (302) to <GET http://www.cotodigital.com.ar/default.asp> from <GET http://www.cotodigital.com.ar/l.asp?cat=500&id=500> 
2011-09-24 20:01:11-0300 [coto] DEBUG: Redirecting (302) to <GET http://www.cotodigital.com.ar/default.asp> from <GET http://www.cotodigital.com.ar/l.asp?cat=1513&id=1513> 
2011-09-24 20:01:11-0300 [coto] DEBUG: Redirecting (302) to <GET http://www.cotodigital.com.ar/default.asp> from <GET http://www.cotodigital.com.ar/l.asp?cat=476&id=476> 
2011-09-24 20:01:11-0300 [coto] DEBUG: Redirecting (302) to <GET http://www.cotodigital.com.ar/default.asp> from <GET http://www.cotodigital.com.ar/l.asp?cat=472&id=472> 
2011-09-24 20:01:11-0300 [coto] DEBUG: Redirecting (302) to <GET http://www.cotodigital.com.ar/default.asp> from <GET http://www.cotodigital.com.ar/l.asp?cat=457&id=457> 
2011-09-24 20:01:11-0300 [coto] DEBUG: Redirecting (302) to <GET http://www.cotodigital.com.ar/default.asp> from <GET http://www.cotodigital.com.ar/l.asp?cat=1097&id=1097>

來源

2011-09-25 mfalcon

您究竟如何檢索URL？ –

http://www.cotodigital.com.ar/l.asp?cat=1097&id=1097重定向到http://www.cotodigital.com.ar/default.asp，因爲HTTP響應如此說。發生這種情況是因爲asp代碼正在檢查某些條件 - 錯誤的頁面或cookie，用戶代理或引用者。檢查提到的條件。

更新：剛剛在我的瀏覽器中檢查：瀏覽器也被重定向到主頁，在那裏我點擊'跳過廣告'。之後，它可以正常工作。

這意味着它設置了一些cookie，沒有它將重定向到主頁面。

另請參閱Scrapy - how to manage cookies/sessions

來源

2011-09-25 13:56:14 warvariuc

原始URL無關刮。它返回302，意味着沒有主體，Location標頭指示重定向到的位置。您需要弄清楚如何在不重定向的情況下訪問URL，或許通過身份驗證。

來源

2011-09-25 00:39:44

回答

相關問題