Scrapy for dynamic contect

Question

我們可以使用Scrapy從java腳本加載的網頁獲取內容嗎？

我想要廢除this頁面 中的使用示例，但由於它們是使用java腳本作爲Jason對象加載的，所以我無法讓它們使用Scrapy。

你能建議什麼是處理這些問題的最佳方法嗎？

Answer 1

打開瀏覽器的開發人員工具，然後查看網絡選項卡。如果你打的頁面有足夠的「下一步」按鈕，它會發出一個新的請求：

取出JSONP放慢參數之後，URL非常簡單：

https://corpus.vocabulary.com/api/1.0/examples.json?query=unalienable&maxResults=24&startOffset=24&filter=0 

通過提出最少數量的請求，你的蜘蛛將會很快。

如果你只想模擬一個完整的瀏覽器並執行JavaScript，你可以使用像Selenium或Scrapinghub's Splash（及其相應的Scrapy plugin）。