瀏覽器限制是否影響網絡爬蟲？

我在做網站的正常模式和過時的瀏覽器模式下，如果有人進入其中www.mysite.com他的用戶代理進入低谷是這樣的：瀏覽器限制是否影響網絡爬蟲？

  // Mobile 
      if (Request.Browser.IsMobileDevice) return Redirect("/m"); 

      // Tabļet 
      if (Request.UserAgent.Contains("BlackBerry") || (Request.UserAgent.Contains("iPhone") || (Request.UserAgent.Contains("Android")))) return Redirect("/t"); 

      // Deprecated 
      if (Request.Browser.Browser == "IE" && Convert.ToInt32(Request.Browser.Version) < 9) return Redirect("/h"); 

      // Normaļ 
      return View();

問題：如果我限制某些瀏覽器訪問根據我的主要觀點，它是否也會限制對網絡爬蟲的訪問？

來源

2013-02-21 skmasq

相關（包括替代文本）：http://xkcd.com/1174/ ;-) – delnan 2013-02-21 17:59:41

@delnan我有主要版本與css3變換和什麼不是，我已經爲較舊的瀏覽器簡單版本（完全兼容），然後我爲平板電腦觀衆和移動觀衆分別提供版本。這個網站更像是我能做什麼，而不是什麼是最好的解決方案。 – skmasq 2013-02-21 18:09:55

我主要談重定向到'/ M'，'/ t'等（從而把'example.com/direct/link/tostuff#！I/want'成'example.com/m#sucks- （IIUC） – delnan 2013-02-21 18:11:15

取決於履帶。通常所有主要的抓取工具，如谷歌等，只是尊重robots.txt和休息都應該可以抓取。除非有人編寫了一個流行的編碼爬網程序，它不應該影響您的網站爬行。您也可以嘗試使用nutch，開源webcrawler來抓取您自己的網站。

來源

2013-02-21 17:52:57 abhinav

謝謝。祝你有美好的一天 - 先生/ missis！ – skmasq 2013-02-21 18:06:34

我寫了一個簡單的網絡爬蟲抓取麥當勞的網站。抓取工具每次抓取的內容都是移動網頁。因此，對於簡單的抓取工具，您的設置會限制訪問。但主要的網絡爬蟲沒有這個問題。

來源

2013-04-06 04:32:56

謝謝你的見解。 :) – skmasq 2013-04-06 22:08:07

瀏覽器限制是否影響網絡爬蟲？

回答

相關問題