使用X-Robot-Tag代替robots.txt有什麼優勢嗎？

Question

看起來有兩種主流解決方案可以指導抓取工具編制索引和不編制索引：添加X-Robot-Tag HTTP標頭或指示robots.txt。

使用前者有沒有優勢？

Answer 1

With robots.txt您不能禁止索引您的文檔。

它們有不同的用途：

• robots.txt可以禁止爬行（與Disallow）
• X-Robots-Tag¹可以禁止索引（與noindex）

（並且都提供額外的不同的特徵，例如，linking to your Sitemap在robots.txt, in X-Robots-Tag，and more more。）

抓取表示訪問文檔。 索引表示在索引中提供到文檔的鏈接（並且可能包含或關於該文檔的元數據）。在典型的情況下，bot在爬過它之後對文檔編制索引，但這不是必需的。

不允許抓取文檔的漫遊器仍然可以對其進行索引（而無需訪問它）。不允許索引文檔的殭屍工具仍可能抓取它。 You can’t disallow both。

¹請注意，標頭被稱爲X-Robots-Tag，而不是X-Robot-Tag。順便說一下，元數據名稱robots（對於HTML meta元素）是HTTP標頭的替代方案。