如何捕獲來自支持AJAX的網站的數據？

前段時間我創建了一個應用程序從一個asp網站動態捕獲數據瀏覽它，解析HTML網頁我和所選擇的數據存儲到數據庫中。如何捕獲來自支持AJAX的網站的數據？

現在我需要再次做同樣的，但這次的網站使用AJAX開發的，我不知道該怎麼面對這個問題。任何想法都歡迎。

謝謝。

我建議你解決問題的方法有兩種：如果你創建一個特定的網站履帶與噸的數據檢索

1），手動編寫這些請求（使用WebRequest類，例如）

2）如果你需要通用的解決方案，嘗試一些GUI測試工具（硒，Telerik的WebAii等）來運行瀏覽器進入網站，所以JS和AJAX會被瀏覽器執行。

取決於你自己。

2011-08-29 14:33:37

我只會抓取一個網站（證券交易所之一），我將它的數據記錄到數據庫中。該網站使用AJAX刷新屏幕上的股票信息。那麼你認爲我可以使用HttpWebRequest類來完成這項工作嗎？ –

@SoMoS當然。我爲AJAX驅動的站點自動進行負載測試，我的工作流程如下所示：使用Fiddler捕獲AJAX請求，瞭解正在發生的事情，然後使用HttpWebTestRequest將其自動化。 –

@SoMoS我爲此使用了Visual Studio Team Suite 2008，但通常的HttpWebRequest應該爲您提供除了多線程測試之外的相同功能，您不需要這些功能。 –

回答