0
'PageJacking'正在創建一個網站,該網站對'WebCrawlers'看起來不錯,對普通用戶而言,我會顯示Advertisement/Promotional Content。只是一個網站假裝好男孩'網絡爬行',而不是用戶。'PageJacking'的解決方案是什麼?
百科:http://en.wikipedia.org/wiki/Pagejacking
如何履帶避免僞造網站(PageJacking)?
'PageJacking'正在創建一個網站,該網站對'WebCrawlers'看起來不錯,對普通用戶而言,我會顯示Advertisement/Promotional Content。只是一個網站假裝好男孩'網絡爬行',而不是用戶。'PageJacking'的解決方案是什麼?
百科:http://en.wikipedia.org/wiki/Pagejacking
如何履帶避免僞造網站(PageJacking)?
搜索引擎可以發送了兩次機器人:
User-Agent
HTTP標頭中的BOT(本身揭示作爲一個搜索引擎機器人)User-Agent
HTTP標頭中的BOT(模仿人類訪客)現在,搜索引擎可以比較這兩個機器人得到的結果。
您試圖完全避免的問題是什麼?你在設計一個網絡爬蟲嗎? –
@DavidSchwartz我現在沒有構建爬蟲。好奇地知道爬蟲是如何避免'pagejacking'的? –
這取決於如何或爲什麼pagejacking是一個爬蟲問題。 –