防止蜘蛛陷入服務器的最佳方法？

Question

我不知道LAMP服務器的很多技術問題，但我租用了一個用於多個網站，並且需要快速知道何時以及如果一個流氓蜘蛛發出太多請求。有通常的日誌文件，但我不知道如何快速提取請求過多的IP地址信息。在開關機時，服務器陷入困境，排隊的郵件通常會延遲幾個小時。我已將GoogleBot設置爲緩慢抓取速度。也許有內置資源來做到這一點？

Answer 1

我會發表更多的理論答案，因爲有很多技術可以「預防」一場完整的災難。

首先，如果攻擊者需要防止DDoS幾乎是不可能的。更改IP非常簡單，大多數公司和人員也會使用不同的路線多次訪問同一臺服務器。

我認爲你應該開始把你的服務器分爲多個不同的機器和層。讓第一層或多個機器（或至少一個）成爲主要入口，其他人要處理「已登錄的用戶」。這會使得當你的請求太多時，第一層會關閉，但下面的層不會被觸摸。

我不需要告訴數據庫層將在底部，因爲它的「你想的東西，以保護最」

我也建議使用負載均衡器，如NGINX（http://nginx.org）。

另外，不要檢查日誌文件。在每一個請求中，你都可以得到誰在請求什麼以及與之相關的信息。訪問日誌可能太遲而無法執行任何操作。

看看這個：https://serverfault.com/questions/544523/apache-ddos-prevention。

另外不要忘記檢查Apache的庫以防止DDoS和這些類型的攻擊：libapache2-mod-evasive是我現在記得的一個：S