robots.txt文件

我有我喜歡從去限制搜索引擎網址：robots.txt文件

是以下可以接受的：

User-agent: * 
    Disallow: https://mysite.com/

或者我需要把更多的東西一樣：

User-agent: * 
    Disallow: https://mysite.com/index.aspx

或將我只是把：

User-agent: * 
    Disallow: /index.aspx

2011-12-13 Nate Pet

最後一個就足夠了。你不需要整個網址，如果你將robots.txt傳輸到另一個網站，你也必須改變這個文件，而這不是你想要的。但是你需要從/開始，這意味着它是你的域名的根源。

或者，你可以這樣做：

禁止所有

User-agent: * 
Disallow:/

不允許1頁

User-agent: * 
Disallow: /index.php

不允許1個目錄

User-agent: * 
Disallow: /dirname/

不允許2頁和第2個目錄

User-agent: * 
Disallow: /index.php 
Disallow: /subpage.php 
Disallow: /dirname/ 
Disallow: /otherdirname/

允許1頁（只有的index.php）

User-agent: * 
Disallow: /~index.php

2011-12-13 15:14:16 Niels

有另外一個問題。如果某個網站目前正在建立索引，則如果我拒絕Google當前正在對其進行索引的網址，robots.txt需要多長時間才能生效 –

取決於Google（每天/每週/每月）Google檢查的次數網站。它沒有被定義，這個網站（stackoverflow）每X分鐘檢查一次，但剛開始的網站可能需要長達1個月或更長的時間。我真的不能告訴。 – Niels

回答