Robots.txt在我的項目根目錄

-2

我見過使用Robots.txt討論的教程/文章。這仍然是必要的做法嗎？我們是否仍然需要使用這種技術？Robots.txt在我的項目根目錄

2013-04-23 id.ot

Robots.txt用於阻止抓取網頁。我不知道你讀了什麼教程，但它顯然不是一個好的教程。 – 2013-04-23 18:29:44

謝謝！我發現並正在學習：[http://www.robotstxt.org/faq.html](http://www.robotstxt.org/faq.html） – 2013-04-23 22:25:32

驚呆了，有人向下箭頭了這個問題。 Robots.txt（經過我在這裏的所有研究和協作，在stackoverflow中）毫無疑問是「有時」必要的練習。 – 2013-05-18 19:47:03

Robots.txt文件不是必需的，但建議那些希望阻止搜索引擎抓取工具抓取您的網站上的幾個頁面或文件夾的用戶。

2013-04-24 05:56:52 PeggyP

我同意上面的答案。 Robot.txt文件用於阻止搜索引擎抓取頁面和文件夾。例如。您可以阻止搜索引擎抓取並編制創建的會話ID，這在很少的情況下可能會成爲安全威脅！除此之外，我沒有看到太多的重要性。

2013-04-24 06:35:15

最近很多機器人爬過您的網站並排名您的網頁的方式也發生了變化。

我相信在短時間內對Robot.txt的使用可能會有一定的幫助，但是沒有什麼值得注意的是，大多數其他關於搜索引擎優化的選項都會比這一點有更多的積極影響。 txt文件將永遠。

反向鏈接也一樣，他們過去比現在重要得多，因爲你獲得排名。

2013-04-24 11:06:58

Robots.txt不適用於索引。它用於阻止你不希望搜索引擎索引的東西

2013-04-24 15:35:55

Robots.txt可以幫助與大型網站索引，如果你使用它來揭示XML sitemap file。

像這樣：

Sitemap: http://www.domain.com/sitemap.xml

在XML文件中，你可以列出多達50,000個網址被搜索引擎索引。有許多可以自動生成和更新這些文件的內容管理系統的插件。

2013-04-27 12:50:11

謝謝你的時間和資源！ – 2013-04-27 16:15:04

回答