驗證自動化腳本需要多少個週期

Question

我有一個查詢。也許這是一個愚蠢的問題，但我仍然需要答案來清除我的疑惑。

測試正在評估產品或應用程序。我們進行測試以檢查是否有任何顯示停止符，以及不應該出現的任何問題。

我們從目前的測試案例中自動化（我正在談論的腳本）測試用例。一旦測試用例被自動化，我們需要檢查腳本運行的測試的週期數，而沒有發生重大錯誤，因此腳本運行可靠而不是手動執行測試用例。

在此先感謝。

Answer 1

如果測試腳本始終在測試失敗時失敗，則需要僅運行腳本一次。多次運行腳本而不更改代碼不會給您額外的安全性。

您可能會發現您的測試依賴於某些在測試過程中發生變化的外部來源，從而使測試失敗有時。多次運行測試也不能解決這個問題。爲了解決這個問題，您必須確保測試設置真正初始化所有外部因素，以便測試始終成功。如果你無法做到這一點，你不能可靠地測試，所以沒有辦法解決這個問題。

也就是說，測試無法確保您的產品100％正確或安全。他們只是確保您的產品與上次測試以來所做的所有更改一樣好（或更好）。它有一種水印能夠告訴你可以依賴的最少量的質量。任何高於水印的是推測，但低於它（測試覆蓋的部分）是安全的。

因此，通過完善您的測試，您可以使您的產品更好地適應每一項變化。沒有自動化測試，每一項變更都有可能使您的產品變得更糟。這意味着，如果沒有測試，您的質量肯定會隨着測試而惡化，您可以保證保持一定的質量。

Answer 2

這是一個巨大的領域，沒有簡單的答案。

這取決於幾個因素，其中包括：

• 你測試的代碼覆蓋率
• 你如何定義可靠