如果不允許長的URL的robots.txt文件中

Question

之間我有一個情況使用通配符，我需要禁止爬行，所有具有相同的圖案，如特定網頁：

/folder1/folder2/folder3/review 

凡爲/folder1/folder2/folder3/將是一個上市，並且添加/review就是我想要禁止爬行的內容。

將此行添加到robots.txt是否有效並阻止在評論頁上，而不是列表或其他內容？

Disallow: /folder1/*/*/review 

感謝

Answer 1

雙*是多餘的。 簡單

/文件夾1/* /審查

甚至

/* /審查

會做。

如果你試圖說明有必須是在「審查」URL之前是一個3文件夾長路徑比我不認爲你可以做到這一點是robots.txt。至少不用通配符，beacuse *可以表示任何字符串和任意數量的文件夾。

請嘗試在htaccess中使用RegEx。