如何告訴Google不要抓取一組網址

Question

如何阻止Google抓取我的應用程序中的某些網址？

例如：我希望Google停止抓取所有以http://www.myhost-test.com/

我應該加在我的robot.txt開始的網址嗎？

Answer 1

答案可以直接在這裏找到：

http://support.google.com/webmasters/bin/answer.py?hl=en&answer=156449

但它看起來像你添加「禁止」和你的網址。