Scrapy抓取問題

Question

我想從維基百科爬取，但結果沒有返回任何東西。 我試着在IPython控制檯中運行一個簡單的查詢來檢查一個值，但它仍然沒有返回任何值。

我已經試過這樣：

sel.xpath('//div[@id="mw-content-text"]/table/tbody/tr[1]/td[1]/text()').extract()

Answer 1

這將是一個猜測，但一個受過教育的一個。 tbody是由瀏覽器插入的內容以及您在瀏覽器開發人員工具中看到的內容。但是，Scrapy是不是瀏覽器 - 從XPath表達式刪除tbody：

sel.xpath('//div[@id="mw-content-text"]/table/tr[1]/td[1]/text()').extract()