如何提取我的抓取工具當前站在的網址？

Question

我正在python中使用scrapy框架製作web爬蟲。 主要思想是抓取工具從頁面提取一些數據，如果數據符合抓取工具應提取其當前站點URL的某些標準。 是否有一些方法/函數在派奇獲取當前的URL？

謝謝。

Answer 1

傳遞給parse（）的'response'變量有你想要的信息。你不應該需要重寫任何東西。

例如。

def parse(self, response): 
    print "URL: " + response.url