0

問題是,我們正在使用bitly品牌的短域作爲URL縮短。我們的品牌短域名是d.so.city如何阻止Google抓取我的Bitly Branded短域名?

現在,無論何時我在google上搜索site:so.city,所有d.so.city鏈接都會出現在真正的網站url之前。我不希望這些惡意網址被抓取。我知道這可以通過子域的robots.txt輕鬆完成,但我們無法訪問子域的robots.txt文件,因爲它完全鏈接在一起。

我也試過谷歌網站管理員的參數阻止,但也沒有運氣。我也經歷了Bitly文檔,但也找不到與之相關的任何內容。

下面是我的網站搜索的樣子,現在快照:

enter image description here 我不希望這些d.so.city鏈接出現在谷歌搜索。如果有人能夠幫助解決這個問題,我們將非常感激。

回答

0

我認爲在d.so.city下的每個頁面都沒有索引元標記應該能夠做到。

爲了防止大多數搜索引擎網頁抓取工具將您網站網頁的索引,請將以下元標記添加到網頁的部分:

<meta name="robots" content="noindex"> 

爲了防止只有谷歌網頁抓取特定網頁建立索引:

<meta name="googlebot" content="noindex"> 

如果你要告訴Google網站管理員參數阻止,它本質上是試圖阻止抓取特定頁面後發現的東西。

Ref:https://support.google.com/webmasters/answer/93710?hl=en