Scrapy：抓取使用document.write填充目標項目的網站

Question

我想要使用document.write方法來取消填充目標項目的網站。我如何才能獲得完整的瀏覽器html版本的網站Scrapy？

Answer 1

你不能這樣做，因爲scrapy不會執行JavaScript代碼。

你可以做什麼：

• 依靠一個模擬瀏覽器像硒，將執行JavaScript。之後，像以前一樣使用XPath（或簡單DOM訪問）在執行頁面後查詢網頁。

• 瞭解內容來自何處，而則直接加載並解析源代碼。 Chrome開發工具/ Firebug可能會幫助你，看看顯示提取數據的「網絡」面板。

  特別尋找JSON，有時候也是XML。