以編程方式滾動外部網頁以加載內容

我試圖爲一些內容刮（很長）的網頁。
我正在使用Python的BeatifulSoup庫，但不僅限於Python。我面臨的問題是頁面只加載一小部分內容，並且一旦用戶滾動到頁面的頂部/底部，就會加載更多內容。以編程方式滾動外部網頁以加載內容

當滾動條觸及頂部/底部時會調用JavaScript函數，從而觸發服務器加載更多數據。有沒有辦法讓我以編程方式滾動頁面，或者調用獲取頁面來加載更多數據的函數，以便我可以使用所有內容？我知道我可以使用VBScript來控制窗口和滾動，但理想情況下我正在尋找一個更優雅的解決方案，它允許我提取數據並同時滾動頁面。

來源

2017-07-31 samuelschaefer

在這裏，你完全得到html頁面的內容加載該頁面中的所有文本。 –

您可以檢查以下answer或者你可以檢查網面板，並調用都會調用同一個URL或方法時，頁面從上面的回答擊中頁面底部

來源

2017-07-31 22:04:15

這個答案具體講述了JavaScript部分，但OP需要從頁面中獲取html的pythonic答案。 –

以編程方式滾動外部網頁以加載內容

回答

相關問題