2013-12-20 42 views
1

有這個問題。我能夠很好地檢索一個網站的所有信息,除了收到內容響應之後(我猜)用Jquery加載的信息。用HtmlWeb.Load抓取jquery加載的內容

有沒有辦法讓這dynamatically加載內容以及?我已經試圖尋找這對谷歌和這裏,但無法弄清楚如何discribe我的問題非常好..

簡單情況: 我有這個網站與汽車的信息:http://www.autowiki.nl/autovergelijker 有不同最重要的是例如'merk'(汽車品牌) 當我選擇一個汽車品牌時,模型的下拉列表中已經填充了匹配的品牌(並且這也改變了網址)

所以如果我訪問網站http://www.autowiki.nl/autovergelijker/#merk_1=15,然後我在我的瀏覽器中看到,品牌下拉菜單中包含「現代」,下拉菜單中包含與現代模型

我想 讀出所有的車型在下拉列表模式是什麼

我的代碼

Dim page as HtmlWeb = New HtmlWeb 
Dim doc as HtmlDocument = page.Load('http://www.autowiki.nl/autovergelijker/#merk_1=15') 
Dim crawlstring as String = doc.DocumentNode.SelectSingleNode("//select[@id='model_1']").InnerHtml 

我得到了什麼 的Crawlstring包含一個選項,這是empy的'---'。而不是匹配型號

回答

0

用C#

var list=new List<yourVar>();var web = new HtmlWeb(); var doc = web.Load("http://www.autowiki.nl/autovergelijker/#merk_1=15"); var xpath = "//select[@id='model_1']//option[@value]";foreach (HtmlNode Node in doc.DocumentNode.SelectNodes(xpath)){ var yourVar=Node.Attributes["value"].Value;list.Add(yourVar);}