應該在哪裏放的robots.txt？放置robots.txt文件的位置？
domainname.com/robots.txt
或
domainname/public_html/robots.txt
我把文件中domainname.com/robots.txt，但是當我在瀏覽器中輸入這個它沒有打開。
alt text http://shup.com/Shup/358900/11056202047-My-Desktop.png
所在的文件進去你的文件系統取決於你所使用的主機，所以我們很難給出關於一個明確的答案。
最好的描述是：把它放在任何地方index.html（或index.php或其他）文件是代表您的主頁。如果這是domainname/public_html/index.html，例如，把它放在domainname/public_html/robots.txt。
在這種情況下，你應該把它放在domainname/public_html/robots.txt，因爲public.html文件夾是你的索引文件的位置。
我認爲更好的方式來描述它是在你的域的根web文件夾中...所以http://example.com/robots.txt你也可以把你的sitemap.xml放在根目錄或在你的目錄中用Sitemap: http://example.com/fldr/smap.xml行來引用它robots.txt的。
不要忘記：您可以使用Google Webmaster Tools進行檢查，以確保您沒有限制任何你沒有意思（你也能看到查詢和鏈接哇噢！）。
建議： ID考慮是否有可能使用<META NAME="ROBOTS" CONTENT="INDEX, NOFOLLOW">因爲你仍然將獲得linkjuice在頁面上的鏈接，但谷歌在指數不會出現，而robots.txt的指令可以留下一個簡單的網址在搜索結果頁面做說明但將失去的所有鏈接值指出，這是因爲它的robots.txted出（其排名b /錨文本的ç所以得到了什麼功勞）
在Web根目錄（其中你把顯示文件您的網站上）
感謝它的工作，現在我放置在域名/的public_html/index.html的 – 2010-06-06 14:55:49
這是不正確的。它必須位於Web服務器的根目錄中，如果您的主頁位於子目錄中，則該目錄不同。 – 2012-06-04 22:08:25
這裏的「主頁」是指該域名的正確主頁。有些機器人也將讀取'從子目錄robots.txt'文件，但並不像在網站的根「的」的robots.txt一樣可靠。 – VoteyDisciple 2012-06-05 18:22:08