鎖定在機器人的鏈接，但inluding網站地圖

Question

我可以舉例來說，包括

用戶代理：* 不允許：/

在機器人

，然後包括所有的鏈接我想包括在主頁網站地圖 和多個其他站點地圖，並將它們編入索引？ 這是否工作？

我注意到我們的一個競爭對手使用機器人禁止鏈接，並且在這些完全相同的鏈接上使用rel = nofollow，但是使用大量的站點地圖來彌補它，並且它們被編入索引。我注意到，這種方法對於鏈接繁重並且需要特定順序的特定站點更好。

我可以這樣做嗎？

Answer 1

受限制的頁面robots.txt根本不會被編入索引。據谷歌網站管理員工具：

如果你的網站有您不希望谷歌或其他搜索引擎來訪問內容，請使用robots.txt文件來指定搜索引擎抓取網站內容。

將這樣的URL包含到sitemap.xml也不會影響索引。