Wordpress Robots.txt是/飼料的問題？

Question

我有一個關於搜索引擎優化，robots.txt的和WordPress

這裏是我的robots.txt看起來這是什麼問題的問題，如：

User-agent: * 
Disallow: /cgi-bin 
Disallow: /wp-admin 
Disallow: /wp-includes 
Disallow: /wp-content/plugins 
Disallow: /feed 
Disallow: /*/feed 
Disallow: /wp-login.php 
Disallow: /tag 
Disallow: /trackback 
Disallow: /*?* 
Disallow: /archive/ 
Disallow: /rss/ 
Disallow: /about/trackback/ 
Disallow: /wp-register.php 

在谷歌網站管理員工具，我看到這樣的URL被限制：

http://www.domain.com/date/article-title/feed/

這是因爲Disallow/feed我假設現在真正的文章標題是與'/ feed /'相同的網址 http://www.domain.com/date/article-title/

我的問題是，正確的URL仍然會被搜索引擎索引？或者我應該從robots.txt中刪除它？你對robots.txt有什麼看法？我找了一些關於添加什麼內容的提示，並提出了一些建議，但是當我看到更大的WordPress網站時，他們沒有我的機器人中的一半物品txt文件。

Answer 1

Feed本身不會被編入索引，但其中包含的URL可以被索引，如果它們的URL未在robots.txt文件中被明確阻止的話。

只要您的所有博客文章都被編入索引，其他內容就可以被封鎖而不會出現問題。看起來某些被阻止的頁面對用戶和搜索引擎（即登錄頁面，引用頁面）或潛在的重複內容問題（即檔案，標籤頁）沒有用處。無用的頁面應該被徹底阻止。我會讓檔案和標籤頁被抓取，但沒有編入索引。這樣搜索引擎可以按照這些頁面上的鏈接來幫助他們找到你的所有內容。這不會使用robots.txt完成，但可以使用meta tag or HTTP header。