使用Parallel.ForEach循環的HtmlAgilityPack中的'System.Net.WebException'

Question

我有一個web scraper，處理大約2,000頁，我嘗試使用Parallel.ForEach循環加速。我當前的代碼（修剪簡潔）是：

Parallel.ForEach(dataTable1.AsEnumerable(), row => 
{ 
    scrape(); 
} 
); 

public void scrape() 
{ 
    HtmlWeb htmlWeb = new HtmlWeb(); 
    HtmlAgilityPack.HtmlDocument doc = htmlWeb.Load("http://www.website.com"); 
    doScraping(doc); 
} 

當這種使用普通foreach循環，它的工作。現在，它將處理行的一些號碼，然後我開始得到以下異常嘗試檢索時HTMLDocument：

型「System.Net.WebException」的第一次機會異常出現在System.dll中

類型「System.Net.WebException」的第一次機會異常出現在HtmlAgilityPack.dll

的操作超時

是什麼原因導致的超時在並行循環操作時會發生什麼？它將通過第一個150-300行，然後每個後續行超時。

Answer 1

我認爲這是因爲你有限制同時HttpWebRequest連接到站點的最大數量。檢查這個.NET設置：ConnectionManagement Element (Network Settings)。

你也可以做到這一點編程：How can I programmatically remove the 2 connection limit in WebClient

它與並行瀏覽器，因爲它使用另一個進程。