如何阻止來自特定目錄的殭屍工具

Question

我從我的網站上的/ cachecp /目錄中的文件的網絡抓取機器人獲取瘋狂數量的請求（該目錄不存在於我的服務器上，但我假設它是黑客機器人尋找漏洞。）IP的都是完全不同的，所以我不能阻止IP的。

我得到的請求，例如： mydomain.com/cachecp/helps/wholesale-plus-size-clothing.html 但無論是文件夾，也不是HTML文件存在（或曾經有）。 html文件似乎完全是隨機的，與我的產品無關。

我可以使用htaccess給任何試圖訪問該文件夾的機器人提供403錯誤和/或禁止多次嘗試IP？

Answer 1

考慮使用此robots.txt文件中

User-agent: * 
Disallow: /cachecp/ 

記住，robots.txt是一個「君子協定」和一些不認真機器人將完全忽略你的規則。