2016-01-22 39 views

回答

-1

它的工作原理是這樣的:機器人想要瀏覽一個網站的URL,比如說http://www.example.com/welcome.html。它這樣做之前,它首創檢查http://www.example.com/robots.txt

因此,如果你希望禁止所有的搜索引擎,然後上傳一個robots.txt文件,您的網絡服務器。 ,包括下面的代碼段:

User-agent: * 
Disallow:/

這將停止所有的搜索引擎抓取。

以及何時將它放到生產服務器上。改變一段代碼(在robots.txt文件):

User-agent: * 
Disallow: 

Sitemap: http://www.yourdomainname.com/sitemap.xml 

並且還包括一個sitemap.xml的文件。 請記住,「User-agent:*」表示本節適用於所有機器人。 「Disallow:/」告訴機器人它不應該訪問該網站上的任何頁面。

1

使用這段代碼在你的robot.txt文件:

User-agent: * 
Disallow:/

這將抓取您的網頁,停止搜索引擎。

相關問題