多機器人Meta標籤

我最近繼承了一個代碼庫，發現這種寶石：多機器人Meta標籤

{% if PAGE_EXTRAS.hide_from_sitemap %} 
    <META NAME="ROBOTS" CONTENT="NOINDEX, FOLLOW"> 
    <META NAME="ROBOTS" CONTENT="INDEX, NOFOLLOW"> 
    <META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW"> 
{% endif %}

我不知道它要怎樣做。是否有一個原因，你會在這樣的網站上放置多個顯而易見的機器人標籤？還是像我看不見的眼睛一樣瘋狂？

來源

2017-07-13 Wintermute

這看起來對我來說是個錯誤。我能找到的唯一信息是Google's Robots meta tag specification：

如果我們的抓取工具遇到競爭指令，我們將使用我們找到的最嚴格的指令。

因此，（對於谷歌，至少）代碼：

<meta name="robots" content="noindex, follow"> 
<meta name="robots" content="index, nofollow"> 
<meta name="robots" content="noindex, nofollow">

不正是因爲同樣的事情：

<meta name="robots" content="noindex, nofollow">

這是可以想象這種代碼可能意爲一些通過利用他們解決衝突的方式的差異，打算將不同的規則應用於不同的抓取工具。如果是這樣，這是一個可怕的想法，恕我直言。當已經有一個合法的機制來做同樣的事情時，沒有必要進行凌亂的脆弱黑客攻擊：

<meta name="googlebot" content="noindex, follow"> 
<meta name="bingbot" content="index, nofollow">

來源

2017-07-13 17:36:15 plasticinsect

感謝您的詳細回覆！ – Wintermute

多機器人Meta標籤

回答

相關問題