2016-06-27 195 views
5

道歉,如果這個問題更適合堆棧交換程序員,我已經在這兩個網站上發佈,因爲我認爲它是圍牆。E2E測試指標

問題:有沒有關於E2E自動化測試的有價值的指標? (收集周圍的數據是否有意義?)

上下文:例如,當我編寫單元測試時,我實現了測試覆蓋程序包,其中包括%類,碰到的方法數等。 。

有幾點我遇到:

  • 測試效率(規格的速度)
  • 應用性能(響應/加載時間)
  • 自動化進度(試驗#目前的能夠測試自動化VS#要進行自動化)
  • 缺陷效率(缺陷#測試VS的缺陷#過程中發現分娩後發現)

任何想法?如果它很重要,我在一個Angular應用上使用了Protractor。這使我的頭腦與量角器

+1

您應該首先在您的上下文中定義測試自動化的目標。然後創建指標來代表期望結果的差距。沒有明確定義目標的投擲度量是無用的。 –

+0

@FlorentB。真的,謝謝你的輸入。我認爲主要目標是通過驗證應用程序的主要部分在開發過程中仍然正常工作(通過功能/迴歸測試?)我不想說這只是快樂的路徑測試(因爲我認爲它比這更深入)......但是由於缺乏更好的術語,我們可以考慮這一點。 – Gunderson

回答

2

東西: 可以測量代碼覆蓋率以及端到端測試以及,但這需要一些技巧來設置,檢查:https://www.npmjs.com/package/protractor-istanbul-plugin https://www.npmjs.com/package/grunt-protractor-coverage

知道它是不是乾淨的解決方案 - 你的代碼可以縮小,不包括服務器端,只要記住這一點。

你也可以衡量網頁性能(加載速度,JS執行速度,CSS渲染其他客戶端計算)的東西,如量角器-PERF: https://github.com/axemclion/protractor-perf

但也請記住,它需要大量的準備實現這一點,但無論如何這很酷。

關於自動化Progress/Percent automatable - 我認爲你不能自動跟蹤這個,只要你的要求非常詳細,並存儲在一些帶有API的系統中。然後,您可以將您的測試案例與特定需求聯繫起來並進行跟蹤。我從來沒有看到這個實際工作。

缺陷效率 - 更容易跟蹤JIRA報告。

+0

太棒了,欣賞輸入。是的,我一直回到「這是否值得付出努力?」的問題。我會等待其他答案 – Gunderson

1

是的,收集有關E2E測試指標的數據是有意義的。除了測試案例的執行,性能和其他測量之外,它還幫助我們爲下一階段的活動做出決定,例如估計未來項目的成本計劃&。 瞭解項目成功所需的改進類型。 決定要修改的過程或技術等測試度量標準是衡量軟件質量的最重要指標。