屏幕抓取/網頁抓取網址在搜索結果後不會改變

Question

我正在抓取網頁抓取項目，我需要我的「開始」頁面來開始抓取。

當導航到這樣的網址：http://www.blah.com/search.aspx和我輸入我的數據（因爲我想通過搜索結果頁面到我的屏幕抓取程序）。當搜索結果（頁面）返回時，URL不會更改。

如何從搜索結果頁面獲取URL，或者模仿「搜索」以在屏幕抓取程序中獲取搜索結果頁面？

Answer 1

經過一些更多的Google搜索後發現（這有助於使用正確的關鍵字）。

我已經在使用HtmlAgilityPack，這只是提供更多關於如何發起帖子和閱讀結果的見解。

http://refactoringaspnet.blogspot.com/2010/04/using-htmlagilitypack-to-get-and-post.html