如何從抓取的網頁地址中獲取移動頁面地址？

Question

我已經爲個人項目製作了「python爬行工具」，我想從每個網頁地址獲取移動頁面地址。

喜歡變換「www.youtube.com」到「m.youtube.com」

我想知道，只有移動網頁地址。

是否可以在不使用'selenium'的情況下獲取移動頁面地址？

Answer 1

有兩種方式可以爲移動頁面提供服務。

您可以先查看網址。例如，您在評論m.youtube.com中給出的例子明確表明您正在以移動模式瀏覽。

但您也可以檢查HTTP標頭User-Agent。此標頭顯示了用於發送查詢的瀏覽器。 服務器可以提取這些信息，並根據給定的值可以確定瀏覽器是移動的還是桌面的。

這將是您的主要問題，所有網絡服務器不使用相同的方法來處理移動模板。很多網站都使用我解釋過的兩種方法，並且很難創建一個通用的刮板來單獨查找如何訪問移動模板。

硅你可以做什麼：

使用移動瀏覽器與硒：https://github.com/SeleniumHQ/selenium/wiki/WebDriver-For-Mobile-Browsers

或者

如果你想從桌面動態切換到手機，與用戶代理玩： Change user agent for selenium driver