4
只是想知道是否有可能禁止整個網站的抓取工具，只允許特定的網頁或部分？ FAST和Ultraseek等抓取工具是否支持「允許」？Robots.txt禁止所有內容並僅允許網站/頁面的特定部分。 Ultraseek和FAST等抓取工具是否支持「允許」？
A
回答
7
有一個Allow Directive然而，不能保證一個特定的機器人將支持它（很像是不能保證機器人甚至會檢查您的robots.txt開始）。你可以通過檢查你的博客來判斷具體的機器人是否只索引你允許的網站部分。
允許只是一個特定網頁或網站的部分可能類似於格式：
Allow: /public/section1/
Disallow:/
這（應該）防止爬行或下/公/ SECTION1
相關問題
- 1. 如何禁止robots.txt中的特定頁面，但允許其他所有內容？
- 2. Robots.txt - 禁止所有頁面，但允許所有子目錄
- 3. robots.txt只允許root用戶，禁止其他所有內容？
- 4. 是否允許網頁抓取？
- 5. 如何使用robots.txt僅允許抓取工具訪問index.php？
- 6. 如何僅允許抓取工具訪問網站的某個部分？
- 7. 允許和禁止在robots.txt文件中
- 8. robots.txt不允許AMP頁面
- 9. robots.txt爲WordPress的博客（不允許/博客/頁面/ ...但允許抓取鏈接到所有職位？）
- 10. 不允許抓取CDN網站
- 11. Scrapy不抓取LinkExtractor允許的頁面
- 12. 一個robots.txt允許爬行只有活網站其餘的應該被禁止
- 13. 禁止搜索引擎抓取工具，但允許谷歌分析
- 14. 允許來自特定網站的混合內容
- 15. slowAES是否允許/支持零填充？
- 16. X框架選項允許從一個特定的站點允許從所有
- 17. robots.txt禁止：/點擊什麼是不允許的？
- 18. 允許訪問的網站，只允許特定的IPS所有訪問特定文件
- 19. 允許訪問僅用於特定IP的網站
- 20. 允許所有內容安全策略？
- 21. Amazon EC2是否允許安裝工具？
- 22. （htaccess）如何僅允許從網站訪問頁面？
- 23. 允許用戶編輯只有頁面內容，並在WordPress
- 24. 無法禁止外部訪問網站，但允許內部用戶
- 25. 沒有「允許網站」按鈕的WebView「受限站點」頁面
- 26. FormsAuthentication允許訪問所有頁面
- 27. Google主工具：如何在robots.txt中允許外部鏈接
- 28. 如何設置允許除主頁外的所有頁面的robots.txt？
- 29. 如何支持IDM沒有允許請求的頁面兩次
- 30. robots.txt不允許屬性
索引任何東西，除了對內容的機器人會不會：``也工作？ – Geremia 2014-07-11 05:05:26