如何準備恆定的基準測試環境

Question

當我正在進行圖形基準性能測試（C++）時，我發現應用程序有時會更快或更慢。這與當前的操作系統狀態/緩存/內存使用情況以及圖形硬件狀態有關。

我正在使用Win7。我想知道是否有一些指導原則來告訴我如何獲得基準性能測試的穩定/持續環境？

Answer 1

有很多方法可以做到這一點 - 我爲我的測試傾向於使用WAIK（Windows自動安裝工具包，可從Microsoft免費提供）在單獨的工作站上部署最小的Windows 7系統。

接着，下面的配置項需要考慮/更改（儘量不要從一個典型的用戶機器偏離太多，你，否則你的基準不具有建設性）：

• 設置分頁文件靜態RAM 2X
• 禁用自動更新
• 禁用驅動器索引

這些代表用於測試的合理優化環境，這仍然是阿塔因此可以代表高級用戶（即使我使用自動更新和驅動器索引，我將它們安排在當我離開/睡覺時）。

至於緩存和內存使用 - 在至少在Win7 Professional中，您可以編寫遠程啓動腳本 - 例如，我會讓腳本在一夜之間運行我的基準測試（對於大型迴歸測試），每次運行後重新啓動操作系統。或者我會運行相同的基準測試5-10次而無需重新啓動，以查看緩存使用情況是否發生變化。

最後，有bootloader開關來控制處理器的數量和可用RAM的數量 - 我的測試機器是AMD Phenom X6，內存爲16GB，但我們需要測試性能如何隨內核數量而變化一些用戶將擁有單核系統，而另一些則擁有多核系統）以及RAM數量（從1-16GB）。

這通常是在檢查點發布之前完成的，以查看是否需要調整建議或最小建議，原因是既有額外的功能又有其他優化。