asp.net（網絡蜘蛛）

Question

我想創建一個網絡蜘蛛，能夠從其他網站獲得一些有用的信息。 我如何從網站獲取文件並存儲到我的服務器？ 例如： 該文件的網址是http://www.abc.com/attachment.php?aid=abc 我如何讓我的網站的用戶下載文件時不顯示頁面http://www.abc.com/attachment.php?aid=abc？

Answer 1

此鏈接可能對您有用。 http://www.thecodinghumanist.com/Content/HowToWriteAWebCrawlerInCSharp.aspx

Answer 2

有很多方法可以去做。

WebClient類可用於獲取網頁資源，例如網頁。

如果你想抓取一個網站，你還需要解析內容，以便跟蹤鏈接並下載圖像和其他資源（CSS，Javascript等......） - 我建議使用一個解析器，如HTML Agility Pack解析HTML以便您可以查詢這些資源（您可能還想使用WebClient下載）。