ASP.NET web抓取超時問題

Question

我試圖實現一個Web抓取爬蟲作爲我的ASP.NET MVC項目的一部分。它適用於使用Html Agility Pack從不同網址收集的大量數據。問題是，當我想要在一分鐘後從遠程服務器上實際運行我獲得「連接已重置」的功能時。當我在本地運行時，結果會更好。我有權訪問遠程IIS。任何解決此問題和/或任何替代方案的建議？

Answer 1

如果您在ASP.NET中有一個長時間運行的進程，最好讓它在不同的線程上運行。

請參閱this和this - 相關問題和this MSDN文章。

Answer 2

連接和網絡問題可能導致此類問題。爲了避免阻塞其他網址的抓取，您可以將工作並行化爲單獨的線程。