HttpWebRequest的返回空文本

Question

當我嘗試抓取該網址 http://www.yellowpages.com.au/qld/gatton/a-12000029-listing.html

using System.Net; 

HttpWebRequest request = (HttpWebRequest)WebRequest.Create(link); 
request.AllowAutoRedirect = true; 
HttpWebResponse response = (HttpWebResponse)request.GetResponse(); 
Stream resStream = response.GetResponseStream(); 
StreamReader objSR; 
objSR = new StreamReader(resStream, System.Text.Encoding.GetEncoding("utf-8")); 
string sResponse = objSR.ReadToEnd(); 

的內容，我不從服務器得到任何迴應。請幫我找出爲什麼會發生這種情況。

提前致謝！

Answer 1

它很可能是在查看用戶代理並拒絕向沒有標識自己的客戶端提供內容。嘗試在請求對象上設置UserAgent屬性。

Answer 2

在我看來，該網站正在檢查引薦網址，並且如果指定了無效的引薦來源網址，它可能會提供空白內容。

嘗試設置request.Referer = "http://www.google.com";。試用引薦來看看是否改變了迴應。我也會像馬修建議的那樣嘗試UserAgent屬性。

Answer 3

我有同樣的問題，原因是我以前已將方法設置爲HEAD，並在稍後的修訂中需要解析正文。