併發與速率限制

Question

我們正計劃爲我們的基於休息的框架實施速率限制器。但是我對於實現哪一個以及哪一個在併發性和速率限制之間更重要有些困惑。我發現在大多數地方，例如apache駱駝人已經實現了速率限制而不是併發。 但對我來說，似乎速率限制實際上沒有什麼意義，相反，併發是我們總是需要面向多個併發請求的服務？ 請讓我知道你的想法。

Answer 1

您當然希望儘可能多地默認爲併發請求服務。但是，高於某些請求率，您的服務性能可能會大幅下降。如果發生這種情況，每個客戶都會受到影響，而且您不再提供更多請求，而是越來越少，直到您的服務對任何人都無法使用。速率限制允許您不要讓新請求以超過某個速率進入系統，因此不會降低性能。您看起來對某些客戶而言，但至少有一些客戶得到了服務，而且您仍然可以在開始時對您的系統進行操作。過度的交換或垃圾收集，甚至無法連接到SSH時，可以有效地將整個服務器與它連接起來。

特定客戶端的速率限制（基於IP例如）可以減輕每個時間單元發出太多請求的「壞」客戶端的影響，或嘗試拒絕您。

請記住，通過將您的服務置於某種逆向代理（如nginx）後可以調整請求率; it can保持請求等待並且不會進入系統一段時間（並且nginx可以容納很多這些等待沒有性能下降），它可以完全放棄它們，它可以限制基於IP的請求等。