使用動態頁面抓取網站

Question

我需要抓取網站，並在表單提交後從動態創建的頁面中提取一些信息。

我需要抓取的信息大多來自這些網站上的數據庫。

補充：

爬行通常由一個超鏈接跳轉到另一個工作。所以這些大多是靜態頁面。如何抓取不是靜態存在但是即時創建的頁面。

Answer 1

從履帶的角度來看，沒有太大區別。你仍然獲得genrated HTML。

您唯一需要注意的是鏈接導致無限數量的頁面，日曆是動態生成的，並且具有指向下一個/上一個月/年的鏈接。