robots.txt中的指令順序是否互相覆蓋或相互補充？

Question

User-agent: Googlebot 
Disallow: /privatedir/ 

User-agent: * 
Disallow:/

現在，什麼是不允許的Googlebot：/ privatedir /，或整個網站/？

Answer 1

按照original robots.txt specification：

1. 殭屍必須遵循符合其用戶代理名稱的第一個記錄。

2. 如果這樣的記錄不存在，它必須遵循記錄User-agent: *（該行可能不會出現在多條記錄中）。

3. 如果這樣的記錄不存在，則不必遵循任何記錄。

所以一個機器人永遠不會超過一條記錄。

---

對於你的榜樣，這意味着：

• 的名稱相匹配的機器人「Googlebot」時不允許有與/privatedir/開始的路徑檢索的網址。
• 與名稱「Googlebot」不匹配的bot不允許抓取任何網址。