Xpath for data-reactid元素

Question

我想抓http://www.spyfu.com/overview/url?query=http%3A%2F%2Fwww.veldemangroup.com%2Fen查找「有機關鍵字」下的文本元素，所以第一個將是「倉庫結構」。

使用scrapy和命令行工具在python中工作。嘗試：

response.xpath("//a[@data-reactid='.0.0.0.0.0.1.0.1.0']") 

只是返回「[]」 - 爲什麼是這樣的，我如何得到正確的（「倉庫結構」）文本？

Answer 1

您提到的網站只有在您輸入http://www.veldemangroup.com/en後纔會動態生成。您可以通過輸入scrapy shell http://www.spyfu.com/overview/url?query=http%3A%2F%2Fwww.veldemangroup.com%2Fen然後response.body來檢查是否存在大量的javascript和您嘗試查找的選擇器（或其他全部其他），因此Scrapy無法單獨找到它。

請嘗試Selenium，這將不適用於簡單請求scrapy如何做，但例如， Firefox webdriver可以通過瀏覽器看到的方式閱讀網站。