是否可以在scrapy上使用pyexecjs？

Question

前段時間我偶然發現了pyexecjs，我在想是否可以使用scrapy來抓取JS生成的數據。 https://github.com/doloopwhile/PyExecJS

我檢查了應該如何使用圖書館的例子，但我不知道如何將它與scrapy整合。

Answer 1

我強烈建議您嘗試使用PhantomJS的Selenium。這是一個示例代碼。

from selenium import webdriver 

url = "http://www.taobao.com/" 
browser = webdriver.PhantomJS() 
browser.get(url) 
input = browser.find_element_by_xpath("//input[@id='q']") 
bnt = browser.find_element_by_xpath("//button[@class='btn-search']") 
input.send_keys("watch") 
bnt.submit() 

有關API的更多信息，請參閱WebDriver API 至於如何與硒整合scrapy，你蜘蛛我的建議是將它嵌入在解析功能。例如：