robot.txt允許而不是Disallow

Question

我的應用程序有幾個動態URL所以有沒有允許在robots.txt而不是Disallow？像

User-agent: * 
allow:/
allow: /blog 

或我必須做這樣的事情？

User-agent: * 
Disallow: /users/* 

Answer 1

有，它被稱爲「允許」。 你甚至可以不允許一個完整的文件夾，但這樣一個文件：

User-agent: * 
Disallow: /folder/ 
Allow: /folder/file.php