如何防止GoogleBot找到併購網址？

Question

我在使用標準簡單重寫規則的zope 2（多個虛擬主機）前面有apache。

我與我託管的一些舊網站和Googlebot存在大問題。

說我有：

• site.example.com/documents/
• site.example.com/images/i.jpg
• site.example.com/xml/
• site.example.com/flash_banner.swf

如何阻止下列情況的發生？

• site.example.com/documents/images/xml/i.jpg
• site.example.com/images/xml/i.jpg
• site.example.com/images/i。 JPG/XML /文件/ flash_banner.swf

全部來自最後一個文件夾的正確對象的URI的響應結束，在不寫的很明白舊的網站和它的一些情況下，谷歌正在進進出出數百個文件夾結構排列不存在，但始終可以找到大型Flash文件。因此，GoogleBot不是一次點擊Flash文件，而是將其從網站上拖拽數千次。我正在將舊網站Django遷移。但是我需要在Zope中停下來。在過去已經嘗試過ipchains和mod_security，但是這次不是一種選擇。

Answer 1

找出哪些頁面向Google提供了所有到同一對象的變體路徑。然後修復該頁面，使其僅使用可遍歷對象的absoute_url（），absoute_url_path（）或virtual_url_path（）方法提供規範路徑。

你也可以使用sitemaps.xml或robots.txt告訴谷歌並不蜘蛛錯誤的路徑，但是這絕對是一個解決辦法，而不是一個固定的上面會。