沒有擴展

Question

不允許文件我目前做這與htaccess的

RewriteRule ^view$ view.php [L] 

我鏈接到/view沒有擴展名，它工作正常。 但是，如何從索引/view禁用機器人？在robots.txt我把

Disallow: /view.php 
Disallow: /view 

當我進入網站管理員工具，我抓取谷歌。我可以獲取mydomain.com/view，但這不會發生，但是當我嘗試獲取mydomain.com/view.php時，它說被robots.txt阻止，這很好。

如何禁止從機器人訪問/view？

Answer 1

線

Disallow: /view 

應該阻止像URL：

• example.com/view
• example.com/view/
• example.com/view/foobar
• example.com/view.php
• example.com/viewer

如您所見，根本不需要Disallow: /view.php。

所以似乎有一個不同的問題。這是最近的變化嗎？也許Google會緩存一個較舊的robots.txt版本。我不知道這個抓取工具，但也許這個問題與重定向有關？我猜想Google抓取工具應該重定向到/view.php。