我已經放在以下Header在我的虛擬主機配置的：優先級X-Robots-Tag中頭VS機器人元標記
Header set X-Robots-Tag "noindex, nofollow"
這裏的目標是從索引我的測試環境只是禁用搜索引擎。該網站是Wordpress，並且安裝了一個插件來管理每個網頁的元機器人設置。例如：
<meta name="robots" content="index, follow" />
所以我的問題是，哪一個指令將優先於另一個，因爲兩個都設置在每個頁面上？
我不確定是否可以給出問題的明確答案，因爲這種行爲可能取決於實現（在機器人方面）。
但是，我認爲有合理的證據表明X-Robots-Tag優先於<meta name="robots" ...。參見：
其中X-Robots-Tag和robots元指令之間顯著區別是：
X-Robots-Tag是HTTP協議報頭的一部分。<meta name="robots" ...是HTML文檔標題的一部分。因此，X-Robots-Tag屬於HTTP協議層，而<meta name="robots" ...屬於HTML協議層。
由於它們屬於不同的協議層，它們將不被同時由（機器人）客戶端獲取頁面解析：在HTTP層將首先被解析，並且在後面的步驟的HTML。
（此外，應該注意的是，X-Robots-Tag和<meta name="robots" ...並非所有的機器人suppported谷歌和雅虎/冰suppport兩個，但根據this一些只支持<meta name="robots" ...，別人既不支持。）
摘要：
X-Robots-Tag將被首先處理;限制（noindex，nofollow）適用（並忽略<meta name="robots" ...）。<meta name="robots" ...指令適用。這個解釋的方式對我來說非常有意義，我不得不同意事實。其他人能證實這一點嗎？ –
在我的情況下（http標題包含X-Robots-Tag爲「noindex，nofollow」，而html文檔頭包含機器人元標記爲「index，follow」），我期待該頁面將從搜索結果中刪除。但等待3天后，似乎不起作用。 @Dan的回答可能是正確的。所以我將修改html頭使其與http頭X-Robots-Tag兼容，並會觀察結果。 – csonuryilmaz
在我最近的經驗，當谷歌認爲混合的消息也喜歡在默認情況下積極行動 - 即 - 它有利於索引 - 同時將標誌問題作爲網站管理員工具的控制檯嚴重錯誤/警告，如果你有一個。
看到你的網站的地位在谷歌瀏覽：https://www.google.com/webmasters/
在這裏看到你在Bing網站的狀態：http://www.bing.com/toolbox/webmaster（注意，雅虎搜索現在是由冰供電）
谷歌藉此正由默認動作因爲許多網站所有者不知不覺地擁有一個狡猾的CMS半塊機器人，我們知道Google喜歡積累儘可能多的數據 - 任何藉口！
如果技術設置錯誤，他們可能會被完全忽視，並且我們知道搜索引擎如何在沒有指定設置的情況下通過默認進行索引和追蹤。
偉大的問題。我懷疑是因爲'index'，'follow'是* default *值，所有顯示出來的'noindex'，'nofollow'指令，無論是頭文件還是元文件，都會勝過它。但我想聽到明確的答案。添加賞金... – Yarin