獲取403錯誤，同時抓取一個網站頁面的數據

我有一個價格比較網站，從各個網站刮取價格。對於所有網站的代碼工作正常，但一個是返回403禁止錯誤。該網站是在Asp.net MVC3框架中開發的。以下是我的代碼。獲取403錯誤，同時抓取一個網站頁面的數據

public static decimal? GetSpanFromWebSite(string url, string identification) 
    { 
     var baseUrl = new Uri(url); 
     HtmlAgilityPack.HtmlDocument document = new HtmlDocument(); 
     try 
     { 
      WebClient client = new WebClient(); 
      document.Load(client.OpenRead(baseUrl)); 
      var div = document.DocumentNode.SelectNodes(identification).FirstOrDefault(); 
      return Convert.ToDecimal(div.InnerHtml); 
     } 
     catch (Exception) 
     { 
      return null; 
     } 
    }

什麼是解決方法，我該如何繼續報廢網站？

來源

2014-09-05 Pankaj Upadhyay