TFS即使在第二次迭代失敗時也會通過多次迭代的自動化測試

Question

我正在使用測試代理2015年的TFS 2017環境。在此之前，我們使用測試代理2013和MTM的TFS 2013環境（此工作正常） 。

在我們有以下問題的時刻：

我們運行一組與大約40測試中，所有的人都多次迭代。如果第一次迭代失敗，我們可以在tfs中看到這一點，測試狀態設置爲失敗，這是完美的。但是，如果第一次迭代成功，第二次失敗，則測試用例設置爲在TFS中傳遞。但是如果第二次迭代失敗，我們希望將整個測試設置爲失敗。現在它看起來像幾乎所有的測試通過，但有時很多後來的迭代失敗，這意味着我們得到虛假的報告。

當我打開屬於一臺機器的.TRX文件時，我可以看到迭代失敗以及哪個成功。

所以一言以蔽之問題：

如果測試的第一次迭代中通過，第二個失敗，整個測試設置爲在失敗是什麼給了我們錯誤的報告代替通過。

我完全不知道我們做錯了什麼。但現在它給出的是關於我們跑步的虛假信息。

有沒有人遇到同樣的問題？

任何幫助將非常感激，因爲我一直沒有能夠在谷歌上找到關於這個問題的任何信息。

Answer 1

我已經在微軟論壇上發佈了這個。他們回答說，他們可以重現它，這意味着它可能是tfs/testagent中的一個問題。更多信息可以在這裏找到：

https://social.msdn.microsoft.com/Forums/vstudio/en-US/4a384376-feae-46a9-a3da-e4445bc905d8/tfs-automated-tests-with-multiple-iterations-show-as-passed-even-when-the-second-iteration-fails?forum=tfsgeneral