如何使用robots.txt停止漫遊器爬行分頁？

我在我的網站上有各種分頁，我想停止谷歌和其他搜索引擎爬行我的分頁索引。一個抓取的頁面的如何使用robots.txt停止漫遊器爬行分頁？

例子：

http://www.mydomain.com/explore/recently-updated/index/12

我如何，使用robots.txt否認抓取包含/索引的網頁機器人/？

我相信，如果你在你的根Web目錄創建您的robots.txt文件有以下：

User-agent: * 
Disallow: /explore/recently-updated/index/

給一個嘗試，然後用別人（可能是谷歌的）機器人檢查，以確保它被停止。

2012-07-13 19:52:57 Hermit

Disallow: /*?page= 
Disallow: /*&page=

2012-09-22 10:10:24 Pete

回答