-4
A
回答
0
從理論上講,它會阻止一個機器人選擇通過訪問以Blog/+開頭的網站的任何部分來尊重它;然而,機器人並不需要尊重它,因爲它不是從一個表示斜線的目錄開始,所以沒有人知道人們的機器人將如何處理它。
從:http://www.robotstxt.org/orig.html
不允許 該字段的值指定的部分URL不是被訪問。這可以是完整路徑或部分路徑;任何以此值開頭的URL都不會被檢索到。例如,Disallow:/ help不允許/help.html和/help/index.html,而Disallow:/ help /將不允許/help/index.html,但允許/help.html。 任何空值,表示可以檢索所有URL。記錄中至少需要存在一個Disallow字段。
相關問題
- 1. 僅包含'User-agent:*'的robots.txt的含義是什麼?
- 2. 文件對象的含義是什麼?
- 3. dylib文件的含義是什麼?
- 4. 在windows ....中.dll文件的含義是什麼?在linux中.so文件的含義是什麼?
- 5. Maven Surefire插件:runOrder中文件系統的含義是什麼?
- 6. robots.txt中的「Allow:/ $」意思是什麼
- 7. 在robots.txt中,Disallow:/?的塊會是什麼?
- 8. ' - '文件在我的主目錄中的含義是什麼?
- 9. .atlas文件中的不同變量的含義是什麼?
- 10. 在.rc文件中,MENUITEM中的含義是什麼?
- 11. '='和';'是什麼意思?字符在.bat文件中的含義是什麼?
- 12. configureDefaultServletHandling的含義是什麼?
- 13. 什麼是java.io.tmp的含義
- 14. DTMobileIS的含義是什麼?
- 15. if(';')的含義是什麼?
- 16. ui.draggable.draggable的含義是什麼?
- 17. URL的含義是什麼
- 18. android:backgroundDimAmount的含義是什麼?
- 19. !int_variable--?的含義是什麼!
- 20. 什麼是WindowsIdentity的含義
- 21. CronJobs的含義是什麼?
- 22. 「error_subcode」的含義是什麼
- 23. xmlns:android的含義是什麼?
- 24. $ @的含義是什麼?
- 25. SootMethod.getSubSignature()的含義是什麼?
- 26. view.bounds.origin的含義是什麼?
- 27. 「UseTaskFriendlySynchronizationContext」的含義是什麼?
- 28. DFA的含義是什麼?
- 29. 什麼是perf cache事件的含義?
- 30. 什麼是(Node)nodes.get(j))在Graph文件中的含義?