我的ALLOWED_HOSTS設置屏蔽Googlebot嗎？

Question

如果我的ALLOWED_HOSTS設置爲.mywebsite.com，是否會阻止Google抓取我的網站？機器人不是有一大堆谷歌機器人嗎？對不起，我有點不知道這件事..

Answer 1

您應該使用web服務器上的robots.txt文件阻止漫遊器訪問網站。 http://www.robotstxt.org/robotstxt.html

Google bot未使用「googlebot」主機，而是使用user-agent。如果bot使用「googlebot」作爲主機，那麼萬一網絡服務器配置了多個擁有不同主機的網站，它將無法訪問您的網站。