scrapy：不同的網址

在向URL發送請求時遇到問題。雖然在主要頁面檢查我得到的URL在HREF作爲 scrapy：不同的網址

但是，當鏈接變得開放，這似乎是：

兩個鏈接是不同的，我怎麼能彌補這方面的要求。

這裏就是我說殼：

也許網址加載數據呼叫，你應該知道，之後AJAX/JS調用加載的數據不包括在原來的響應。 – Umair

問題是與allowed_domains蜘蛛屬性。您目前的設置不允許您按照日誌（DEBUG: Filtered offsite request to ...）按照jobview.monster.ca的要求。該屬性有點鬆散組合：與AJAX/JS

allowed_domains = ['monster.ca']

2017-08-25 07:17:42

很好，雖然它沒有與'monster.ca'一起工作，也因爲新的頁面以'jobview.montser.ca'開頭，所以我刪除了允許的域名。它的工作。再次感謝 –

回答