使用Scrapy從使用java腳本生成數據的網站獲取信息

Question

我想使用Scrapy來抓取網站，但是網站URL並未更改，頁面使用Java腳本加載。

這是怎樣的網站，網址看之前，我進行搜索：

這是網站和網址看後要如何進行搜索：

我怎樣才能得到的數據從使用Scrapy的網站提供這些條件？

Answer 1

• 您需要分析網站如何加載數據。 也許你可以閱讀URL和HTTP標題。
• 使用一些工具（如POSTman）來模擬加載數據的過程。
• 使用scrapy來實現該過程。