HttpWebRequest和HttpWebResponse錯誤

我試圖運行一個簡單的代碼，用於編寫此page網頁爬蟲。
每一件事情是好的，我嘗試了幾個網站的程序，它工作正常，但有一個網站，而不是返回在其網頁中的HTML內容會生成一個srtange錯誤：
HttpWebRequest和HttpWebResponse錯誤

DotNetNuke Error: - Version 04.05.01 Return to main page

和返回的HTML是：

<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"> 
<html lang="en-US"> 
<head> 
    <title id="Title">Error</title> 
    <link id="StyleSheet" href="/Install/Install.css" type="text/css" rel="stylesheet"></link> 
</head> 
<body> 
    <form name="Form" method="post" action="ErrorPage.aspx?tabid=186&amp;error=Object+reference+not+set+to+an+instance+of+an+object.&amp;content=0&amp;language=ar-SY" id="Form"> 
<input type="hidden" name="__VIEWSTATE" id="__VIEWSTATE" value="/wEPDwUJNTkzNjY2ODU2D2QWBAIDDxYCHgRocmVmBRQvSW5zdGFsbC9JbnN0YWxsLmNzc2QCBQ9kFgICAg8PFgIeBFRleHQFRDxpbWcgc3JjPSIvaW1hZ2VzL2x0LmdpZiIgYm9yZGVyPSIwIiAvPiDYsdis2YjYuSDYp9mE2Ykg2KfZhNmF2YjZgti5ZGRk2aDp+vZbUIDHSd3beGBaLQrJ6yk=" /> 

     <table cellspacing="5" cellpadding="5" border="0" class="Error"> 
      <tr> 
       <td><img id="Image1" src="logo.gif" alt="DotNetNuke" border="0" /></td> 
      </tr> 
      <tr style="height:100%;"> 
       <td valign="top" style="width:650px;"> 
        <h2>DotNetNuke Error: - Version 04.05.01</h2> 
        <hr /> 
        <p> 
<table border="0" cellspacing="0" cellpadding="4"> 
    <tr> 
     <td valign="top" align="left"><img id="ctl00_imgIcon" src="images/red-error.gif" border="0" /></td> 
     <td valign="middle" align="left"><span id="ctl00_lblHeading" class="NormalRed">an error has been occurred<br/></span><span id="ctl00_lblMessage" class="Normal">return to the site.</span></td> 
    </tr> 
</table> 
<hr noshade size="1"/></p> 
       </td> 
      </tr> 
      <tr> 
       <td align="right"><a id="hypReturn" class="WizardButton" href="Default.aspx"><img src="/images/lt.gif" border="0" /> return to the site</a></td> 
      </tr> 
      <tr><td height="10px"></td></tr> 
     </table> 
    </form> 
</body> 
</html>

究竟什麼是DotNetNuke的錯誤和問題是什麼...在一個阿拉伯網站BTW發生的錯誤，我試圖在另一個阿拉伯網站，沒有任何錯誤。

來源

2010-09-28 fadi

不限人體這裏！？ – fadi 2010-09-28 13:03:44

我已通過添加用戶代理物業解決了這個問題：

hrqURL.UserAgent = "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.2; .NET CLR 1.0.3705;)";

來源

2010-09-29 08:10:46 fadi

您的抓取程序似乎生成了導致DotNetNuke崩潰的請求。您可能正在請求一個不存在的頁面或傳遞導致DotNetNuke崩潰的請求參數。

只要將此結果視爲失敗的請求。

來源

2010-09-28 14:38:19

非常感謝！我發現網站的緩存版本包含與crowlere返回的結果相同的結果：http://www.rankiva.com/cache/www.syriatel.sy/我可以覆蓋此緩存版本並使用HttpWebRequest來抓取原始網站？看起來好像是要進入緩存的版本！ – fadi 2010-09-29 08:00:30

非常感謝，我解決了這個問題 – fadi 2010-09-29 08:09:02

HttpWebRequest和HttpWebResponse錯誤

回答

相關問題