下載整個網站在C＃

Question

原諒的主題

我的無知，我使用

string p="http://" + Textbox2.text; 
string r= textBox3.Text; 
System.Net.WebClient webclient=new 
System.Net.Webclient(); 
webclient.DownloadFile(p,r); 

下載的網頁。你能幫我加強代碼，以便下載整個網站。嘗試使用HTML Screen Scraping，但它只返回index.html文件的href鏈接。我如何着手未來的日子

感謝

Answer 1

刮網站實際上是一個大量的工作，有很多的極端情況。

改爲調用wget。 manual解釋瞭如何使用「recursive retrieval」選項。

Answer 2

protected string GetWebString(string url) 
    { 
     string appURL = url; 
     HttpWebRequest wrWebRequest = WebRequest.Create(appURL) as HttpWebRequest; 
     HttpWebResponse hwrWebResponse = (HttpWebResponse)wrWebRequest.GetResponse(); 

     StreamReader srResponseReader = new StreamReader(hwrWebResponse.GetResponseStream()); 
     string strResponseData = srResponseReader.ReadToEnd(); 
     srResponseReader.Close(); 
     return strResponseData; 
    } 

這會將網頁從提供的URL中放入字符串中。

然後，您可以使用REGEX來解析字符串。

這個小塊從craigslist中獲取特定鏈接並將它們添加到arraylist中...修改爲您的目的。

protected ArrayList GetListings(int pages) 
    { 
      ArrayList list = new ArrayList(); 
      string page = GetWebString("http://albany.craigslist.org/bik/"); 

      MatchCollection listingMatches = Regex.Matches(page, "(<p><a href=\")(?<LINK>/.+/.+[.]html)(\">)(?<TITLE>.*)(-</a>)"); 
      foreach (Match m in listingMatches) 
      { 
       list.Add("http://albany.craigslist.org" + m.Groups["LINK"].Value.ToString()); 
      } 
      return list; 
    }