如何從博客文章中正確提取內容？

我試圖從一個博客文章了這樣的內容：如何從博客文章中正確提取內容？

static void GetBlogData (string blogPostUrl) 
{ 
    string blogPostContent = null; 

    WebClient client = new WebClient(); 
    //client.Headers.Add (HttpRequestHeader.Referer, "http://www.stackoverflow.com"); 

    TextWriter writer = new StreamWriter ("/home/nanda/projects/mono/common/article"); 

    try 
    { 
     blogPostContent = client.DownloadString (blogPostUrl); 
    } 

    catch (Exception ex) 
    { 
     Term.PrintLn ("Unable to download\n{0}", ex.Message); 
    } 

    if (blogPostContent != null) 
    { 
     writer.WriteLine (blogPostContent); 
    } 

    else 
    { 
     Term.PrintLn ("No content found"); 
    } 
}

我知道這是太簡單的方法，但我想知道爲什麼我無法從像一些網址中提取內容他們有塊或什麼的。如何檢測網站/博客是否阻止我下載其內容？

來源

2012-07-19 Animesh

他們可能會期待您發送cookie或登錄。 – 2012-07-19 07:33:45

網站無法阻止您下載其內容，而不會阻止網站的瀏覽器諮詢。

如果下載失敗，則指：

一）您的網址是錯誤的

b）該網站需要某種形式的身份證明文件和您的要求沒啥事（可能是一個cookie）

來源

2012-07-19 07:35:53 Falanwe

如何將cookie添加到請求中？ – Animesh 2012-07-19 07:49:51

如何從博客文章中正確提取內容？

回答

相關問題