是否可以將諸如'noodp'等SEO標籤添加到robots.txt文件而不是使用<meta>標籤？我試圖避免與我們的CMS模板搞亂，但我懷疑我可能要...在robots.txt文件中使用noodp meta標籤
我能嘗試一些類似的...
User-Agent: * Disallow: /hidden Sitemap: www.example.com noodp:
我認爲的robots.txt優先於元標籤？例如，對於noindex，抓取工具甚至不會看到相關頁面。然而，對於像noodp這樣的情況，情況仍然如此嗎？
你不能用robots.txt做到這一點，但你可以使用the X-Robots-Tag response header獲得相同的效果。
添加這樣的事情.htaccess文件的相應部分：
Header set X-Robots-Tag "noodp"
這告訴服務器在響應報頭下面一行：
X-Robots-Tag: noodp
搜索引擎（即支持X-Robots-Tag）將解釋這個標題行，就像他們在機器人元標記中解釋'noodp'一樣。通常，您可以將任何內容放入X-Robots-Tag標題中，您可以將其放入漫遊器元標記中。請注意，該頁面不能被robots.txt阻止，否則抓取工具將永遠不會請求頁面，因此永遠不會看到頁眉。
號
Robots.txt文件的目標是到約爬行機器人，不是他們應該對他們抓取的內容做什麼提供信息。
<meta>機器人（或X-Robots-Tag指令）和robots.txt指令是兩個截然不同的事情。
谷歌提供了有關這在他的文章Learn about robots.txt file良好的信息：
的robots.txt，才應使用如果你想添加一些機器人指令而不搞亂來控制抓取流量
您CMS，HTTP標頭X-Robots-Tag可能是一個很好的解決方案。你可以嘗試通過你的服務器配置來添加它。
好的解決方案，如果你在一臺服務器上有htaccess和CMS不覆蓋它。 – Ciseur
謝謝，這似乎正是我所期待的！保存我與我們的模板混亂，並與DM陷入麻煩:) – Recidvst