的robots.txt和Meta標籤機器人

2012-02-11 41 views 1 likes

我要確保我明白這一點：的robots.txt和Meta標籤機器人

此：<meta content="noindex, nofollow" name="robots" />在網頁中

的<head>是一樣的：

在Robots.txt

Disallow: /example-page.html

對不對？

來源

2012-02-11 L84

@casperOne - 我很好奇這是如何脫離主題？這是一個關於Robots.txt的Web開發問題。 – L84 2012-06-08 00:31:27

回答

in the <head> of a webpage is the same as:是的，如果你是在談論example-page.html的<head>。唯一的區別是，當你在meta標籤中對機器人進行限制時，蜘蛛仍會要求該頁面。如果該頁面由任何服務器端腳本生成，並且您計算其顯示的次數或收集與此頁面的訪問相關的任何其他信息（例如，來自訪問日誌），則這可能是非常重要的。

機器人（來自普通搜索引擎的有效機器人）將訪問該頁面，讀取元標記，並隨後不索引它，同時在robots.txt中的記錄將不會被通用蜘蛛執行或在User-agent部分robots.txt中提到的那個。

來源

2012-02-11 03:46:27 Cheery

相關問題

1. 機器人meta和robots.txt
2. 多機器人Meta標籤
3. 機器人Meta標記和robots.txt的兩個有什麼不同？
4. 的robots.txt和元機器人之間的互動標籤
5. Meta標記VS的robots.txt
6. 根目錄中的Robots.txt是否會覆蓋Meta標籤，或者Meta標籤是否會覆蓋robots.txt文件？
7. robots.txt的機器人名稱
8. robots.txt輔以不允許和meta標籤，讓
9. XSS和Meta標籤
10. 在robots.txt文件中使用noodp meta標籤