谷歌仍然索引唯一URL

Question

我已成立這樣

User-agent: * 
Disallow: /* 

對於一個網站，是基於所有唯一網址robots.txt文件。當你保存一個新的小提琴時，它會給它一個唯一的URL，類似於https://jsfiddle.net/。我希望我的所有唯一網址對Google不可見。沒有索引。

谷歌已經索引的所有我的唯一URL，即使它說：「此結果的描述是因爲網站的robots.txt文件不可用 - 瞭解更多」

但仍然吮吸，因爲所有的網址在那裏，可點擊 - 因此所有數據都可用。我能做些什麼1）擺脫Google的這些禁忌，2）阻止Google將這些網址編入索引。

Answer 1

robots.txt告訴搜索引擎不要抓取頁面，但它不會阻止他們索引頁面，特別是如果有鏈接從其他網站的頁面。如果您的主要目標是確保這些網頁不會顯示在搜索結果中，則應該使用robots meta tags。帶有'noindex'的機器人元標記意味着「根本不索引此頁」。阻止robots.txt中的頁面意味着「不要從服務器請求此頁面」。

添加機器人元標記後，您需要更改robots.txt文件以不再禁止頁面。否則，robots.txt文件將阻止搜尋器加載頁面，這將阻止它看到元標記。你的情況，你可以修改robots.txt文件來：

User-agent: * 
Disallow: 

（或只是刪除完全由robots.txt文件）

如果機器人元標籤不是出於某種原因的選項，也可以使用X-Robots-Tag標頭來完成同樣的事情。