2016-08-08 70 views
0

如果我們的網絡有代理服務器,那麼有些網站無法打開。 我想迭代檢查,可以通過我們的網絡訪問多少個網站。Python:如何檢查給定的站點是否可以通過代理網絡訪問?

+0

您可以使用[this](https://en.wikipedia.org/wiki/List_of_social_networking_websites)獲取網頁列表,以便您不會耗盡想法。我建議[請求](http://docs.python-requests.org/en/master/),一個非常好的網絡資料庫。 – limbo

回答

0

找出Proxy Block頁面的源代碼是什麼。

使用urllibBeautifulSoup來嘗試和刮取頁面並解析頁面的源代碼,以查看是否可以找到可以告訴您網站是否可訪問的獨特內容。

例如,在我的辦公室裏,當我們的代理攔截一個頁面時,源代碼的標題標記是<title>Network Error</title>。諸如此類的東西可能是你的標識符。

只是一個快速的想法。

因此,例如,您可以讓URL在列表中進行測試,並在循環中遍歷列表並嘗試並刮取每個站點。

相關問題