在我的網站上模擬一個爬蟲程序

Question

我需要調試由asp.net編寫的我的web應用程序，以瞭解它是如何爲呈現內容的爬網程序提供動作，如Googlebot。我發現的第一件事是一些在線/離線工具，但沒有人可以通過Request.Browser.IsCrawler標誌。

然後我試圖模擬一個手工製作的請求添加Googlebot的的UserAgent，但仍然沒有機會。

Answer 1

我用Telerik的菲德勒和鉻同時設定用戶代理到的Googlebot/2.1（+ http://www.googlebot.com/bot.html），包括_escaped_fragment_在URI中，併成功地看到的網頁從爬蟲的角度來看。