以編程方式檢查一個網站是否被ISP阻止

Question

我需要通過不同的ISP監控網站列表以查看它們是否被阻止。我爲每個ISP有不同的機器。我試圖編寫一個代碼來自動檢查網站是否被阻止。有幾件事出現在我的腦海裏，但他們不是因爲不同的原因而工作的：

ping：我以爲我會ping網站，但是之後一些網站的ICMP端口被關閉。

獲取請求（或javascript image trick）：我想也許我只是獲取網頁，但這並沒有幫助，因爲被阻止的頁面仍然返回一些非標準的阻塞頁面。 200狀態。

最後，我想也許我在非阻塞的機器上得到一個網站的副本，並將該網頁與測試機器上的網頁進行比較，但有兩個問題：我不知道如何比較兩個頁面我會比較什麼元素），其次，一些網站是動態的，因此它們返回的版本略有不同。

任何想法都會有所幫助。

Answer 1

我猜測，ISP的塊頁面是一致的ISP無論你試圖訪問什麼網站。與將檢索到的頁面與「已知的真正」頁面進行比較，將它與「已知的虛假」頁面進行比較怎麼辦？

缺點：您將不得不爲每個ISP重複此過程，因爲它們幾乎肯定會有不同的「塊」頁面。

Answer 2

兩個選項：

比較頁面大小。如果兩個頁面的大小非常相似，那麼您知道ISP可能不會阻止該網站。如果一個頁面的大小非常小，則ISP有可能阻止該網站。

從頁面抓取元素，如標題，標題，按鈕文本等，並將它們相互比較。如果您有x個匹配項，頁面可能未被阻止，如果您沒有匹配項，頁面可能被阻止。

Answer 3

存儲阻止的網站頁面的模板。

對於每個GET responseBody檢查其內容是否與被阻止的模板匹配。

如果防火牆強制重定向，您可以檢查響應服務器的IP/DNS是否與防火牆相同。