如何使用MSTest/CCNet警告外部影響導致的測試失敗

Question

我們有一部分與第三方Web服務集成的在線服務。因此，我們在Visual Studio 2010中使用MSTest進行了大量的單元測試，以確保與第三方的交易產生預期的響應。我們運行CCNet進行持續構建，並且持續集成意味着完成的任務非常棒。在許多情況下，它發現當上遊層中的檢查改變了服務結束時的數據並打破了集成。

不幸的是，第三方的集成測試主機是不可靠的，因爲它可能在沒有警告的情況下停機維護。因此，由於這些單元測試因連接問題而失敗，因此每天有好幾次構建會被破壞。這很讓人分心，除了將其標記爲可接受的結果路徑外，我們無能爲力。我們的很多測試如下所示：

var client = new ThirdPartyClient(TestConfig); 
var Result = client.DoSomethingOverThere(ourDataToSend); 
Assert.IsFalse(Result == BadResult) 
Assert.IsTrue((Result == Success) || (Result == Timeout)) 

我真的很想知道哪兩個可能的結果導致測試通過。 （實際上，我希望有一種方法可以使用AssertInConclusive，而不會將其視爲破損的構建）但是，有沒有人對如何處理這種情況有任何建議？

Answer 1

這篇文章解決Inconclusive Tests in TFS Build Should Not Break the Build正在解釋一種可能適用於您的情況的解決方法。我同意，當你的另一方有問題時，設定無結論狀態是一種處理這個問題的實用方法。