1
我有一個谷歌的網站，今天我發現谷歌產生一個新的robots.txt文件：我的robots.txt是User-agent：* Disallow：/ feeds/Disallow：/ */_ /它的意思是什麼？
User-agent: *
Disallow: /feeds/
Disallow: /*/_/
是什麼意思？感謝您的善意回覆。
A
回答
3
這裏被擊穿：
User-agent: * -- Apply to all robots
Disallow: /feeds/ -- Do not crawl the /feeds/ directory
Disallow: /*/_/ -- Do not crawl any subdirectory that is named _
欲瞭解更多信息，請參閱www.robotstxt.org。
User-Agent標題是瀏覽器和機器人如何識別自己。
Disallow行定義了機器人應遵循的規則 - 在這種情況下，他們不應該抓取的規則。
相關問題
- 1. 「User-agent：* Disallow：/」是什麼意思？
- 2. 在robots.txt中，Disallow：/？的塊會是什麼？
- 3. robots.txt中的「Allow：/ $」意思是什麼
- 4. Google+ robots.txt中的這些行是什麼意思？
- 5. 這個robots.txt是什麼意思？它不允許任何機器人嗎？
- 6. 是什麼意思：是什麼意思？
- 7. Robots.txt Disallow
- 8. 是什麼意思？：是的
- 9. 我是什麼意思？
- 10. 是什麼意思：=在oracle中的意思是當我們使用它時
- 11. Android上的Jsoup userAgent - 這是什麼意思？
- 12. 這是什麼意思，它的輸出？
- 13. 我們的意思是什麼？要麼 ？？？
- 14. SURF的min_dist和max_dist是什麼意思，FlannMatcher是什麼意思
- 15. 「？」是什麼意思？調用jsp的標記是什麼意思？
- 16. Robots.txt Disallow方法
- 17. Jenkins API是什麼意思，它的用途是什麼？
- 18. 邏輯地址是什麼意思，它們是什麼樣的？
- 19. EXC BAD ACCESS是什麼意思？參考我的代碼是什麼意思？
- 20. 什麼是string array [] =「」;是什麼意思？爲什麼它有效？
- 21. ％{}是什麼意思？
- 22. '＃'是什麼意思？
- 23. 「？」是什麼意思？
- 24. ＃{...}是什麼意思？
- 25. || =是什麼意思？
- 26. @是什麼意思
- 27. $$ $$是什麼意思？
- 28. `/ * @`是什麼意思？
- 29. 「=」是什麼意思
- 30. + =是什麼意思？
感謝您的回答。但這是不好的或不適合我？因爲Google會自動生成我的robots.txt，並且他們正在做他們想做的事情。 非常感謝！ – Roland 2011-01-29 15:03:48