我想讓我的robot.txt只允許索引我的索引文件在谷歌。這看起來如何？

我想我的robot.txt只允許索引我的索引文件在谷歌。這看起來如何？下面會做這個訣竅嗎？我想讓我的robot.txt只允許索引我的索引文件在谷歌。這看起來如何？

User-agent: Google 
Disallow: /_/ 
Disallow: /library/ 
Disallow: /media/ 
Disallow: /www/ 

User-agent: * 
Disallow:/

2010-09-22 Wilson

試試這個

User-agent: Google 
    Disallow:/
    Allow: /index.php 
    Allow: /$ #this will allow your homepage as well**

**，但它能夠更好地使用htaccess的重定向，重定向的example.com example.com/index.php。避免重複的網址。

2010-09-22 00:40:39

除了谷歌，否認所有其他機器人怎麼樣？ – Wilson 2010-09-22 00:44:14

此外，谷歌索引將http://example.com/或http://example.com/index.php或兩者兼而有之？ – Wilson 2010-09-22 00:49:05

它只會爲index.php工作女巫是最佳實踐，因爲你避免重複。現在檢查編輯過的一個 – 2010-09-22 01:11:06

回答