如何抓取整個網站，如果數據在滾動後用Javascript追加

Question

我需要抓取一個網站，但問題是，底部沒有鏈接分頁。如果您滾動到底部，數據會附加。現在我怎樣才能讓我的履帶工具發生這種情況？有什麼想法嗎？

Answer 1

嘗試檢查在向下滾動時執行以追加數據的腳本。它必須以某種方式檢索附加數據 - 只要看看它在做什麼，並讓你的爬蟲做同樣的事情。

Answer 2

使用像Selenium這樣的機器人可以工作，您可以在真實的導航器中模擬真實的用戶。我曾經在facebook上做過的一件事是在C++/Qt中使用JavaScript解釋器，然後通過它發送請求。比Selenium快得多。

我相信Google比你擁有更多的處理能力，網站管理員可以盡其所能解決問題。