如何使用scrapy.Request正道

我試着讓我的爬蟲抓取下一個頁面，所以我寫了這個功能：如何使用scrapy.Request正道

def requestURL(self, hrefPath): 
     print(hrefPath) 
     url = "http://www.presseportal.de/" + hrefPath 
     yield scrapy.Request(url, callback=self.parse)

它甚至沒有打印可變hrefPath所以我懷疑功能心不是叫，雖然即時通訊相當肯定我把它叫做正確的是這樣的： self.requestURL(hrefPath)

林很新的scrapy因此Im很抱歉，如果這個問題似乎是愚蠢的

來源

2016-11-17 Lucas Mähn

你可以發佈你定義爲整個班級你的蜘蛛？ – sal

你在哪裏調用'requestURL（）'？ – furas

在解析函數的末尾 –

我想通了：不是以創作的摹

yield scrapy.Request(url, callback=self.parse)

寫回

yield scrapy.Request(url, callback=self.parse)

在功能

，當你調用該函數的解析函數寫：yield requestURL(hrefPath)

來源

2016-11-18 14:14:22

如何使用scrapy.Request正道

回答

相關問題