2012-10-20 38 views
0

我看過網站隱藏robot.txt文件。如何從vistor隱藏robot.txt?

如果你輸入該網站的名稱 http://www.mysite.com/robot.txt 您將不會收到robot.txt的,

我也想隱藏文件來自參觀者的robot.txt如何做到這一點?

有沒有所以我不理解的代碼的含義這些線路

<meta name="ROBOTS" content="NOODP"> 
         <meta name="Slurp" content="NOYDIR"> 

的連接。 謝謝!

+1

如果您隱藏robots.txt然後搜索引擎不會看到它,有什麼意義? – nachito

+0

此外,快速搜索發現上述元標記的描述:http://www.metatags.org/meta_name_slurp – nachito

+1

那麼[所以當然沒有](http://stackoverflow.com/robots.txt)。他們在用戶體驗和搜索引擎優化方面看起來相當不錯,所以我不認爲這對您或您的網站有好處,您能解釋一下爲什麼您想要這麼做嗎? –

回答

1

我不確定你在問什麼,但是你不能用URL重寫來完成嗎?您可以使用抓取工具的用戶代理字符串(例如「Googlebot」)顯示訪問者的robots.txt文件,然後重定向到404(如果它是非爬蟲的)UA