網絡主機上的網絡抓取應用程序

Question

我正在編寫一個網絡抓取應用程序在.NET中，並希望由某些方舉辦，如arvixe。

問題是，我不明白虛擬主機解決方案，此外，我來自桌面背景。

什麼是最好的方法（工作者線程刮到定時循環？某種過程），我寫一個應用程序運行在該主機上並收集數據（網頁抓取），然後將其保存到sql server數據庫？

我真的很感激一點細節，因爲我對網頁空間相當陌生。

Answer 1

這裏放棄從其他服務器的數據是我創造了前段時間crawles網絡和得到一些數據的應用程序：

https://github.com/alexanderbeletsky/TddDemand

它實現了網絡爬蟲+ EF4存儲。

它實際上是類libraly + console應用程序，但類庫可以用作ASP.NET Web應用程序的一部分 - 在這裏沒有問題。

但是，我真的不明白爲什麼你需要一個網站。對於這種情況，簡單的應用程序（服務）更適合。

Answer 2

可以使用HttpWebRequest類在asp.net web應用

http://msdn.microsoft.com/en-us/library/system.net.httpwebrequest.aspx