使用LazyLoader使用Python爬取頁面BeautifulSoup

Question

我正在與BeautifulSoup玩耍，我喜歡它。

問題是我試圖報廢的網站有一個懶惰的瀏覽器......而且它只剩下一部分網站。

我可以提示如何繼續？我必須看看如何實現lazyloader並參數化其他任何內容嗎？

Answer 1

事實證明，問題本身不是BeautifulSoup，而是頁面本身的動態。對於這個特定的情況。

該頁面返回頁面的一部分，因此需要分析標題並相應地發送到服務器。這不是一個BeautifulSoup問題本身。

因此，看看數據如何加載到特定網站上很重要。它並不總是一個「加載整個頁面，處理整個頁面」的範例。在某些情況下，您需要加載部分頁面並向服務器發送特定參數，以便繼續加載頁面的其餘部分。