如何忽略我網站中的一些鏈接？

Question

我工作的一個小PHP腳本，我有一些像這樣的鏈接

*-phones-*.html 

*是變量我希望禁止谷歌索引這種使用robots.txt，可以鏈接？

Answer 1

你不禁止任何事情。 robots.txt只是webcrawlers的一套準則，可以選擇是否遵循它們。

粗魯的爬蟲當然應該被禁止IP。但是你無法避免webcrawler可能會遇到該頁面。無論如何，你可以將它添加到你的robots.txt和谷歌webcrawler可能服從。