禁止MVC中的robots.txt文件的操作

在我的ASP.Net MVC applcation中，我有一個控制器/操作url，我想在Robots.txt中添加Disallow部分，以便我的視圖不會被抓取，因此不會被索引通過搜索引擎。禁止MVC中的robots.txt文件的操作

但我一直在使用這樣的

routes.MapRoute(
       "693a7878-4b1d-4934-bad2-cec60e4ffbd1ec801ac0", 
       "693a7878-4b1d-4934-bad2-cec60e4ffbd1ec801ac0", 
       new { controller = "Index", action = "Report" } 
      );

路線更名控制器/行動，使我的網址是這樣

http://localhost:51227/693a7878-4b1d-4934-bad2-cec60e4ffbd1ec801ac0

我想在robots.txt中屏蔽知道我應該包括哪些網址被搜索引擎忽略。

User-agent: * 
Disallow: /Index/Report 

      OR 

Disallow: /Index/693a7878-4b1d-4934-bad2-cec60e4ffbd1ec801ac0

請建議。

來源

2013-08-22 Anil D

如果您只希望抓取工具忽略該特定網址，則應阻止/693a7878-4b1d-4934-bad2-cec60e4ffbd1ec801ac0。

但是，他們仍然會找到您的/Index/Report網址，因此您可能還想阻止它？

來源

2013-08-22 11:03:39 Anton

謝謝，我包括 –

搜索引擎沒有（一定）知道你使用ASP.NET MVC，也不知道你的路由是如何建立的。它只是看到最終的網址。見The Web Robots Pages：

你需要一個單獨的「禁止」行要排除

每一個URL前綴，以便在 '禁止' 網址：

http://localhost:51227/693a7878-4b1d-4934-bad2-cec60e4ffbd1ec801ac0

變爲：

Disallow: /693a7878-4b1d-4934-bad2-cec60e4ffbd1ec801ac0

來源

2013-08-22 11:07:07 CodeCaster

@安頓在另一個答案提到他們可以仍然找到/索引/報告，所以需要包含在Disallow中？ –

是的，任何導致您想禁止訪問的資源的URL。 – CodeCaster

禁止MVC中的robots.txt文件的操作

回答

相關問題