0
A
回答
1
這裏一個link其中robots.txt
解釋。您可以通過在Web根目錄中存放這樣的文件來防止抓取您的登臺服務器。
相關問題
- 1. 使用AJAX搜索引擎在Chrome中搜索搜索引擎
- 2. 語義Web服務搜索引擎
- 3. 搜索引擎必要?
- 4. 爲什麼搜索需要單獨的搜索服務器
- 5. 需要網頁瀏覽器控制的默認搜索引擎
- 6. 在搜索引擎中自動搜索
- 7. 搜索引擎
- 8. 搜索引擎優化 - 獲取搜索引擎索引301頁面
- 9. 搜索引擎機器人可以抓取需要登錄的頁面嗎?
- 10. WAMP服務器不允許php搜索引擎?
- 11. Google App引擎需要索引錯誤
- 12. JQGrid&搜索引擎索引
- 13. 服務器生成的數據是否被索引爲搜索引擎?
- 14. 在SQL服務器中加入消除和列存儲索引
- 15. BPM引擎與BPM引擎服務器
- 16. 搜索引擎中的倒排索引
- 17. 搜索引擎網頁摘要
- 18. ASP.NET搜索引擎
- 19. php搜索引擎
- 20. mysql搜索引擎
- 21. Ember搜索引擎
- 22. php搜索引擎
- 23. PHP搜索引擎
- 24. 元搜索引擎
- 25. Filshts搜索引擎
- 26. Lucene.net搜索引擎
- 27. joomla搜索引擎
- 28. SQL搜索引擎
- 29. Mysql搜索引擎
- 30. Django:搜索引擎