座robots.txt中

Question

特定頁面根據這個 http://support.google.com/webmasters/bin/answer.py?hl=en&answer=156449

Disallow: /page1/
所有第1頁的URL將被禁止即第1頁/富/酒吧也將被封鎖。
Disallow: /page1

只有page1就會被阻塞，page1/foo/bar will被允許。
但這沒有發生，我怎麼能只page1封鎖和允許page1/foo/bar被抓取

編輯： 實際的問題是，同一頁面中不同的路徑 作爲/page和/page/爬兩次

Answer 1

何不你只是添加一個機器人元標記？

<meta name="robots" content="noindex, nofollow, noarchive"/>