如何使用robots.txt僅允許抓取工具訪問index.php？

Question

如果我只想允許爬蟲訪問index.php，這個工作嗎？

User-agent: * 
Disallow:/
Allow: /index.php 

Answer 1

您可以使用Google Robots tool進行結賬。我永遠不會在機器人文件中放置任何祕密目錄，因爲我猜想像下面這樣的一行對於某些蜘蛛來說就像是親愛的。

Disallow: /secret 

Answer 2

嘗試更換的順序不允許/允許：

User-agent: * 
Allow: /index.php 
Disallow:/

參見維基百科這樣的信息：

「然而，在秩序，是所有 機器人兼容，如果你想要允許在不允許的 目錄中存在單個 文件，則需要先放置允許 指令，然後再放置 不允許，例如：」

http://en.wikipedia.org/wiki/Robots.txt

不過我不希望它太一致

Answer 3

是，它將攜手。以下是Google Webmaster Tool的測試結果。

Url 
http://www.example.org/index.php 

Googlebot 
Allowed by line 3: Allow: /index.php 

Googlebot-Mobile 
Allowed by line 3: Allow: /index.php 

但是，請記住，使用此配置，除非使用完全限定路徑訪問頁面，否則您的網站主頁將不會被抓取。 換句話說，http://www.example.org/被禁止，而http://www.example.org/index.php被允許。

如果您希望您的主頁可以訪問，請提供更好的文件版本。

User-agent: * 
Disallow:/
Allow: /index.php 
Allow: /$ 

Answer 4

User-agent: * 

Allow: /index.php 
Disallow:/

Answer 5

User-agent: * 
Allow: /$ 
Allow: /index.php 
Allow: /sitemap.xml 
Allow: /robots.txt 
Disallow:/

Sitemap: http://www.your-site-name.com/sitemap.xml