2013-07-05 168 views
0

'PageJacking'正在創建一個網站,該網站對'WebCrawlers'看起來不錯,對普通用戶而言,我會顯示Advertisement/Promotional Content。只是一個網站假裝好男孩'網絡爬行',而不是用戶。'PageJacking'的解決方案是什麼?

百科:http://en.wikipedia.org/wiki/Pagejacking

如何履帶避免僞造網站(PageJacking)?

+0

您試圖完全避免的問題是什麼?你在設計一個網絡爬蟲嗎? –

+0

@DavidSchwartz我現在沒有構建爬蟲。好奇地知道爬蟲是如何避免'pagejacking'的? –

+0

這取決於如何或爲什麼pagejacking是一個爬蟲問題。 –

回答

0

User agent spoofing

搜索引擎可以發送了兩次機器人:

  • 與真實User-Agent HTTP標頭中的BOT(本身揭示作爲一個搜索引擎機器人)
  • 具有典型的瀏覽器的User-Agent HTTP標頭中的BOT(模仿人類訪客)

現在,搜索引擎可以比較這兩個機器人得到的結果。

相關問題