比瀏覽器響應

我想刮此頁面scrapy不同鬥志旺盛響應：比瀏覽器響應

http://www.barnesandnoble.com/s?dref=4815&sort=SA&startat=7391

和響應，我得到的是比我在瀏覽器中看到的不同。瀏覽器響應有正確的頁面，而scrapy的響應是：

http://www.barnesandnoble.com/s?dref=4815&sort=SA&startat=1

page。我嘗試過使用urllib2，但仍然有同樣的問題。任何幫助深表感謝。

來源

2012-12-12 Aditya Shukla

你的意思是，當你通過scrapy請求該頁面時，它會重定向你？ – warvariuc

是的，它重定向我。 –

它可能是該網站默認使用javascript.Scrapy doesnt。您應該使用中間件或下載處理程序。 – jdcaballerov

我真的不明白的問題，但通常是一個瀏覽器和scrapy不同的響應由一個這些原因包括：

服務器分析您User-Agent頭，並返回一個特製頁面移動客戶或機器人;
服務器分析cookie，並且在看起來像您第一次訪問時做了一些特殊的事情;
你試圖通過scrapy使POST請求喜歡的瀏覽器，但你忘了某種形式的領域，或者把錯誤的價值觀
等

沒有通用的方法來確定什麼是錯的，因爲它取決於你不知道的服務器邏輯。如果你幸運的話，你會分析和解決所有提到的問題，並使其工作。

來源

2012-12-12 07:50:33 warvariuc

感謝您的回答。我正在發出get請求，並且已將User-Agent中的廢料設置爲瀏覽器Mozilla/5.0。但是，當我通過瀏覽器訪問該頁面時，我得到一個引用鏈接「http://www.barnesandnoble.com/s?dref=4815&sort=SA&startat=7391」，與scrapy相似，引用鏈接是一個空字符串「」。我正在嘗試設置scrapy的推薦人，但那還沒有奏效。 –

嘗試使用wireshark查看Firefox和scrapy發送的內容並分析差異。 – warvariuc

比瀏覽器響應

回答

相關問題