這意味着刮板和垃圾郵件將不會像普通的網頁瀏覽器一樣構建。考慮到這一點,似乎應該有方法通過查看他們提出請求的方式來發現公然的垃圾郵件。有沒有可以用來發現垃圾郵件機器人的HTTP頭域?
是否有任何方法來分析HTTP標頭,或者這只是一個管道夢?
Array
(
[Host] => example.com
[Connection] => keep-alive
[Referer] => http://example.com/headers/
[Cache-Control] => max-age=0
[Accept] => application/xml,application/xhtml+xml,text/html;q=0.9,text/plain;q=0.8,image/png,*/*;q=0.5
[User-Agent] => Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US) AppleWebKit/534.7 (KHTML, like Gecko) Chrome/7.0.517.44 Safari/534.7
[Accept-Encoding] => gzip,deflate,sdch
[Accept-Language] => en-US,en;q=0.8
[Accept-Charset] => ISO-8859-1,utf-8;q=0.7,*;q=0.3
)
只有少數機器人擁有可靠的簽名。大多數形式的垃圾郵件搜尋器執行重播攻擊或ActiveX殭屍。 (但很大程度上取決於目標網站。)「引用者」鏈接變得越來越少了。但要注意「不良行爲」。 – mario 2010-11-28 04:22:31