我的蜘蛛服務意外停止？

Question

我有一項服務，可以拖動我們的網站以獲取大量數據。這需要花費大約3天時間（猜測是因爲它還沒有成功運行整個過程！）在5個不同的線程獲取數據並將其放入數據庫中。如果WebClient.DownloadData失敗，那麼錯誤會記錄在數據庫中，並且會被忽略，但是在早上大約凌晨3點，服務在大約2000次失敗的Web請求後停止。他們返回遠程服務器521異常或操作超時。我也有一個意想不到的異常，但它並沒有進入！我一直在努力修復這個錯誤數週，但是要讓錯誤發生是一個漫長的過程！有沒有人有任何想法，爲什麼這會繼續發生？

Answer 1

你會需要給我們更多的細節，我想，和一些代碼片段，

我想，從你的描述，你有兩個問題 - 一個網頁請求開始521個錯誤失敗，和，二，您的服務停止。

鑑於服務在大量Web請求失敗後停止，我會查看某種資源耗盡 - 內存不足嗎？文件句柄？主題？還有別的嗎？當Web請求失敗時，您的應用程序會做什麼？

Answer 2

有點聽起來像是內存泄漏給我，或者調用堆棧太深了，蜘蛛只是資源耗盡。我遇到了像這樣的問題，構建了非常大的多維數組來使用SVD關聯搜索詞。