防止googlebot在同一個主機帳戶上索引其他域名

Question

我有一個託管帳戶，用於託管3個網站。 所有3個網站是互相獨立的。

主機帳戶與主域名.lets聯繫www.maindomain.com，本網站的文件位於主機的根目錄。

另外兩個域www.domainA.com和www.domainB.com分別鏈接到子文件夾domainA和domainB。

谷歌顯示www.maindomain.com/domainA和www.maindomain.com/domainB在maindomain.com的搜索結果中，儘管domainA和domainB與該網站無關，除了事實上它們被託管在同一個託管帳戶。

如何防止在爬網maindomain.com時googlebot將索引domainA和domainB子文件夾。 我可以使用robots.txt並防止子文件夾抓取（但它會阻止Google將索引www.domainA和www.domainB作爲單獨的實體嗎？）

Answer 1

假設使用相應的子文件夾作爲文檔根目錄設置了domainA和domainB ，你可能在你的主域名定義爲robots.txt

User-agent: * 
Disallow: /domainA/ 
Disallow: /domainB/ 

要排除只有Googlebot並允許所有其他

User-agent: googlebot 
Disallow: /domainA/ 
Disallow: /domainB/ 

---

但請記住，似乎這些域沒有通過完整的URL鏈接，如http://domaina.com/some/path，而是/domainA/some/path。

通過將href替換爲完全限定的URL，您可以首先防止抓取。