0
我有一個Rails應用程序的產品,其中的產品,可以發現:*/robots.txt中的鏈接 - 這是否阻止所有或僅鏈接以/ link結尾?
mydomain.com/thisproduct
如果導致製造商的網站的鏈接用戶點擊,這是通過使用完成函數「鏈接」與以下網址:
mydomain.com/thisproduct/link
谷歌似乎這個指標相當獨有的通過索引這個頁面作爲我的網頁,但與製造商的網站的內容。所以,我想阻止它在robots.txt中編入索引。
This is my robots.txt:
# See http://www.robotstxt.org/wc/norobots.html for documentation on how to use the robots.txt file
#
# To ban all spiders from the entire site uncomment the next two lines:
# User-Agent: *
# Disallow:/
Disallow: /sokresultat/*
Disallow: */link
當最後一行是我的問題涉及到:
執行此塊與鏈端的所有網址?而且,更重要的是,是否會阻止其他任何內容?恐怕這將通過該通配符爲我的整個網站取消索引。