如何從網頁下載動態生成的內容？

Question

我試圖從動態生成的網頁下載一些數據，所以使用wget不起作用。該頁面爲http://gaceta.diputados.gob.mx/SIL/Legislaturas/Listados.html我想下載顯示的每個選項的列表，可以在「Legislatura」字段中選擇一次，然後下載我可以使用紅寶石處理數據。

只是想知道什麼是最好的下載方式，並且如果可以選擇每個選項並下載。

Answer 1

您可以使用Safari或Chrome中的Web Inspector或Firefox中的Firebug擴展來查看數據的加載方式。該頁面正在爲此網站的Perl腳本執行AJAX POST請求，並且數據以XML形式返回。

我會用cURL來獲取數據。

Answer 2

您可以使用http://watir.com/或webrat模擬您將如何查看數據然後使用Nokogiri解析HTML。