刮我們目前所在網頁的網址

Question

我想知道我們是否可以抓取我們目前所在網頁的網址？

例如，如果我想從scrapy.org刮取數據，那麼我可以定義規則來提取頁面中提供的數據和鏈接。但是，我可以從網頁抓取網址scrapy.org本身作爲url嗎？由於我們目前所在的網址不會在html文件中提及，有沒有辦法做到這一點？

這裏是我要解決的問題：

我試圖從this網頁刮職位描述。

我想知道我們是否可以提取該網頁的超鏈接。

Answer 1

是的。

在你的解析代碼中，你應該有一個response對象，並且response.url將是被抓取的當前頁面的url。

Have a read of scrapy documentation for more details