HttpWebRequest錯誤403

Question

我是C＃中的新成員，並且需要從C＃中檢索URL。大多數情況下它工作正常，但在一種情況下，它會拋出一個錯誤。 URL是如下 http://whois.afrinic.net/cgi-bin/whois?searchtext=41.132.178.138

錯誤是：禁止（403）：

異常在對URL的HTTP請求：http://whois.afrinic.net/cgi-bin/whois?searchtext=41.132.178.138遠程服務器返回一個錯誤。

我的代碼

void MyFUnction(string url) 
{ 
    HttpWebRequest request = (HttpWebRequest)WebRequest.Create(url); 

    request.UserAgent = ".NET Framework Test Client"; 
    request.ContentType = "application/x-www-form-urlencoded"; 
    Logger.WriteMyLog("application/x-www-form-urlencoded"); 


    // execute the request 
    HttpWebResponse response = (HttpWebResponse)request.GetResponse(); 
    // we will read data via the response stream 
    Stream resStream = response.GetResponseStream(); 

    string tempString = null; 
    int count = 0; 
    do 
    { 
     // fill the buffer with data 
     count = resStream.Read(buf, 0, buf.Length); 

     // make sure we read some data 
     if (count != 0) 
     { 
      // translate from bytes to ASCII text 
      tempString = Encoding.ASCII.GetString(buf, 0, count); 
      if (httpData == null) 
       httpData = tempString; 
      else 
       httpData += tempString; 

     } 
    } 
    while (count > 0); // any more data to read? 
} 

Answer 1

刪除您的ContentType線。

request.ContentType.... 

你不是在做表單文章，只用「GET」檢索頁面。

request.Method = "GET"; //this is the default behavior 

並且還將Accept屬性設置爲「text/html」。

request.Accept = "text/html"; 

Answer 2

設置

request.Accept = "text/html";

以及它會工作。

我不知道他們爲什麼配置這種方式，可能是故意阻止一些機器人。您可能想要檢查他們的服務條款，無論您是否可以自動查詢他們的網站。

---

編輯補充：仍然相信我的答案在這種情況下是正確的，我可以重現403，每次如果我不設置Accept頭。 ContentType是多餘的，但不是有害的。
在任何情況下，你還需要修改你的函數妥善處置的響應，並讀取與正確的字符編碼響應：

void MyFunction(string url) 
{ 
    HttpWebRequest request = (HttpWebRequest)WebRequest.Create(url); 
    request.UserAgent = ".NET Framework Test Client"; 
    request.Accept = "text/html"; 
    Logger.WriteMyLog("application/x-www-form-urlencoded"); 

    // execute the request 
    using (HttpWebResponse response = (HttpWebResponse)request.GetResponse()) 
    { 
     // we will read data via the response stream 
     Stream resStream = response.GetResponseStream(); 
     StreamReader streamReader = new StreamReader(
             resStream, 
             Encoding.GetEncoding(response.CharacterSet) 
            ); 
     httpData = streamReader.ReadToEnd(); 
    } 
}