如何處理負載尖峯並排隊請求？

Question

在Kubernetes中是否有配置，我可以在新實例生成之前指定要排隊的最小請求數？

這是上下文：我們已經爲我們的用例設置了強大的高CPU機器，並且每個請求都在服務器上承擔了大量的負載。一切工作完美，直到我們達到具體的數字說300 ... 100毫秒的加速時間的請求。從那時起，我們正在接收連接被拒絕的錯誤一段時間，然後服務器開始處理它們，一旦產生新的機器。處理負載尖峯的最佳方法是什麼？我正在尋找應用引擎中的「等待延遲」配置。我的應用程序部署在Google計算引擎上，由Kubernetes編排。

Answer 1

您可以使用readinessProbe（見container probes），以指示容器準備好服務請求，並使用HorizontalPodAutoscaler來自動調整你的應用程序上/下根據觀察到的CPU利用率。希望這可以幫助。