Scrapy ROBOTSTXT_OBEY並非在所有情況下

Question

所以我有一個Scrapy項目設置工作，我已經啓用了ROBOTSTXT_OBEY中間件其工作的robot.txt文件罰款是按以下格式：

用戶代理：* 不允許：/工具/

但是當在以下格式的robots.txt文件網站相同的蜘蛛它不工作：

用戶代理：* 禁止：*下一

？

Th是應該被robots.txt阻止的頁面仍然被抓取的結果，順便說一句，這是robots.txt文件完全有效的標記。

只是想知道是否有人可以解釋爲什麼這可能是什麼？

Answer 1

Scrapy使用不支持通配符的Python標準robots.txt解析器。