-1
如何禁止除一個用戶代理以外的所有用戶代理？ 例如，禁止所有用戶代理，但只允許Googlebot？禁止除一個用戶代理以外的所有用戶代理？
A
回答
0
useragent: *
disallow=/
useragent: google
allow=/
這個示例robots.txt告訴抓取工具，如果他們不是谷歌。那麼他們最好不要爬行你的網站。雖然谷歌已獲得綠色通道抓取網站上的任何東西。
該文件應存儲在www.example.com/robots.txt。
相關問題
- 1. 通過htaccess阻止所有用戶代理除了一個
- 2. 使用web.config禁止用戶代理
- 3. SQL Server拒絕除一個用戶以外的所有用戶
- 4. 禁用桌面用戶代理
- 5. 禁用WCF客戶端的Web代理？
- 6. 檢索除管理員以外的所有用戶名
- 7. xp_cmdshell代理帳戶被禁用自動
- 8. 刪除所有的流量爲特定用戶代理
- 9. Chromecast用戶代理
- 10. CURL用戶代理
- 11. HtmlWeb用戶代理
- 12. SimpleXML用戶代理
- 13. android用戶代理
- 14. IE11用戶代理
- 15. URL用戶代理？
- 16. Java用戶代理
- 17. WebView用戶代理
- 18. .htacess允許從本地拒絕除一個用戶代理以外的所有人
- 19. LWP ::用戶代理和代理錯誤
- 20. 更改用戶代理在python代理
- 21. 禁止用戶代理的max-age = 0頭
- 22. 在WordPress的默認設置我想要禁用除管理員以外的所有用戶的管理欄？
- 23. C＃禁止代理
- 24. 除了用戶代理以外，Chrome桌面模式還有什麼作用？
- 25. Android，webview用戶代理vs瀏覽器用戶代理
- 26. 只允許一個用戶代理，阻止其餘的nginx？
- 27. 以編程方式爲所有用戶設置IE代理？
- 28. 除了嘗試以外的MySQL獲取除一個以外的所有用戶
- 29. Android的HTTP用戶代理
- 30. url.getContent（）上的用戶代理;
讀了這個問題是一個重複的有點：http://stackoverflow.com/questions/671491/robots-txt-allow-only-major-se – CristianHG