你如何防止開發網站被索引？

目前我的開發網站正在通過SERP進行索引。我希望防止這種情況發生。我認爲你可以添加一個標籤：可以阻止它被跟蹤和索引。這是否需要在每個ASP.NET頁面上？一個特定的頁面？任何使用元名稱標籤的頁面？該網站非常大，因此在每個網頁上插入這些內容會非常耗時。我希望會有更快的方法？你如何防止開發網站被索引？

還有就是[robots.txt的（http://robotstxt.org/），但如果你真的不想要它索引的，有隻有一種方法：使用防火牆。儘管大多數抓取工具都遵守robots.txt，但這樣做並不是必需的，而且有些人不檢查它。 –

感謝您的及時回覆。在robots.txt中，我必須擁有什麼條目才能進行索引，而且不需要關注整個網站？ –

案例＃1：

如果您的網站在Apache上運行，mod_headers中和使能（通常是這樣），你可以在下面一行添加到您的.htaccess文件：

Header set X-Robots-Tag "noindex, nofollow"

案例＃2：

如果您的網站沒有在Apache上運行，並要有效地隱藏從搜索引擎的頁面，你需要他們的索引這些網頁（這可能看起來矛盾）。爲什麼？因爲當他們索引這些頁面時，你可以告訴他們不要列出它們。通過使用機器人meta標籤。

在這種情況下（在服務器而不是Apache）以下行添加到您的所有網頁（或只有你的頭頁）

<meta name="robots" content="noindex,nofollow"/>

最後一步：您的網站是否捉迷藏在Apache或不，創建一個robots.txt文件，並添加以下行它吧：

Disallow:/

2015-09-08 22:36:07

感謝您的及時迴應。我在IIS服務器上，並使用了（抱歉，我應該提到這一點）。我想知道是否需要在網站上的每個頁面上都包含這個標籤，我不想索引（它是一個開發站點，所以我不想索引或追蹤頁面）？ –

如果您的網站爲每個頁面使用一個共同的標題，那麼您只需將此標記添加到標題中，或者您可以創建標題並將該標題（通過編碼）包含到您的每個頁面中。否則，您需要在網站的每個頁面中添加該標籤。另請注意，robots.txt不能阻止您的網站在搜索引擎結果中列出，它只會阻止索引，但它不能阻止網站的列表。 –

回答