2013-04-13 26 views
0

我有一個Rails應用程序的產品,其中的產品,可以發現:*/robots.txt中的鏈接 - 這是否阻止所有或僅鏈接以/ link結尾?

mydomain.com/thisproduct

如果導致製造商的網站的鏈接用戶點擊,這是通過使用完成函數「鏈接」與以下網址:

mydomain.com/thisproduct/link

谷歌似乎這個指標相當獨有的通過索引這個頁面作爲我的網頁,但與製造商的網站的內容。所以,我想阻止它在robots.txt中編入索引。

This is my robots.txt: 

# See http://www.robotstxt.org/wc/norobots.html for documentation on how to use the robots.txt file 
# 
# To ban all spiders from the entire site uncomment the next two lines: 
# User-Agent: * 
# Disallow:/
Disallow: /sokresultat/* 
Disallow: */link 

當最後一行是我的問題涉及到:

執行此塊與鏈端的所有網址?而且,更重要的是,是否會阻止其他任何內容?恐怕這將通過該通配符爲我的整個網站取消索引。

回答

1

看起來,經過一些額外的研究後,通配符在搜索引擎之間的支持方式不同。這適用於Google,可以在Google網站管理員工具中驗證。