如何在內存解析網頁

這是我想要完成的任務：如何在內存解析網頁

我需要編寫將從命令行啓動從網頁中提取一些數據的工具。頁面的內容是使用JavaScript動態生成的（想象一個jQuery，它調用Web服務來獲取項目列表並在頁面上呈現它們）

我的第一個想法是使用WebBrowser控件加載頁面。但它需要一個圖形用戶界面來託管網絡控制，因此不存在問題。

任何人都可以提出什麼我可以嘗試？有沒有可以解析網頁而不必可見的庫？

2012-02-07 Chris

打開Google Chrome Developer Tools（按F12），然後轉到網絡選項卡。有一個小按鈕，左下角有一個圓圈圖標（保存導航日誌），您可能需要單擊它。

如果您現在瀏覽到您希望工具捕獲的頁面，Chrome瀏覽器將記錄瀏覽器發出的所有HTTP請求 - 包括任何XHR請求。

您應該可以使用它來了解如何在工具或腳本中構建相同的HTTP請求來檢索相同的信息。

2012-02-07 14:56:40 pepsi

有解析網頁的各種便利，你可以使用'HTML敏捷包'來做同樣的事情。還有一個網站，你會發現解析器已經設計的網站是black belt coder

2012-04-02 11:03:18

回答