性能測試

Question

我們正在開發使用VMWare和NUnit的自動化迴歸測試。我們已經將測試分爲多個步驟，現在我希望看到每個步驟都要進行性能迴歸檢查。就像NUnit那樣簡單地計時測試，似乎並不可靠。我認爲接受率約爲15％，但我們的步驟有時可能會有所不同，超過35％。在這樣的資源依賴測試環境中，是否有任何一致的測試性能方式？ 「智能」計時系統是我唯一的選擇嗎？

Answer 1

對於這種性能測試，沒有系統會給你一個簡單的通過/失敗結果。在現實生活中，改變你的系統可能會讓某些事情變得更快，而其他事情會變得更慢，所以它通常不是「更好」和「更好」之間的選擇，而是更好的選擇。 （當然，你想避免嚴重更糟的情況。）

我過去爲此做了什麼就是隻保留一段時間的統計數據。每次運行測試時，都將結果放入SQL數據庫中，其中包含版本號和測試時間。然後，您可以隨時隨地對其進行繪製（理想情況下在一個小小的網絡小程序中，以便團隊中的每個人都可以查看它們），並查看您的表現是否呈現上升趨勢或下降趨勢，或者自從特定修訂以來表現是否一直很糟糕。

這裏的關鍵是，它需要是圖。這樣人眼可以看它並找到趨勢。你可以花一週時間想出一個AI算法來分析數據的數據，但它永遠不會超過人類的模式識別能力。

Answer 2

您可能會考慮使用諸如Ants Profiler之類的工具提供的功能，因爲它確實提供了方法執行/運行時間，但我不確定它在重複測試方面的優勢。

Answer 3

關於性能測試，我一直非常懷疑使用vmware或其他虛擬化過程。我們過去處理這個問題的方式是讓部分版本在靜態機器上安裝最新版本並運行測試。您應該在虛擬化之外看到更一致的結果。