根據是否已經看到過濾鏈接

Question

我正在構建一個簡單的網絡爬蟲，我試圖根據以前是否看到它們來過濾鏈接。問題是，一個鏈接可能是相同的，但有一個正斜槓，參數。我也想過濾掉郵件的。有沒有人知道，直接做到這一點？我目前正在使用pHp。

編輯： 我用Net_URL2.php查看此之後正常化的URL： How do I apply URL normalization rules in PHP?

Answer 1

簡短的回答是否定的，有沒有直接的方法來做到這一點。請閱讀this article about URL normalization以瞭解難以實現的一些原因。