我應該在我的robots.txt文件的末尾添加allow all語句嗎？

Question

我是否需要在robots.txt中禁用語句之後添加allow all語句，或者假定他們可以抓取任何未標記爲禁止的語句。

例子：

User-Agent: * 

Disallow: /folder1/ 
Disallow: /folder2/ 
Disallow: /folder3/ 
Disallow: /file1.php 
Disallow: /file2.php 

Allow:/

Sitemap: http://www.example.co.uk/sitemap.xml 

或

User-Agent: * 

Disallow: /folder1/ 
Disallow: /folder2/ 
Disallow: /folder3/ 
Disallow: /file1.php 
Disallow: /file2.php 

Sitemap: http://www.example.co.uk/sitemap.xml 

Answer 1

你不需要明確允許，如果你的目的是允許蜘蛛發現除明令禁止的那些項目的一切。

蜘蛛判斷它是否找到不應該被索引的禁止規則 - 如果這些規則中沒有匹配蜘蛛當前正在查看的地址，它會被索引。

Here是一個相當直接的示例頁面。