2013-02-24 127 views
1

我需要能夠將數據從頁面下載到文本文件中,稍後用不同的程序進行解析。我已經在其他網站上使用過這種語法,並且工作得很完美,但是我已經遇到了一個帶有一個網站的程序。使用wget從網頁下載所有數據

這裏的網站,我使用的語法:

WGET.EXE http://quotes.morningstar.com/fund/AAAAX/f?t=AAAAX -O AAAAX.TXT --no檢查證書-owebdata/LOGFILE.TXT

此下載頁面,但我需要看到的關鍵數據不存在。例如: 費用營業額和狀態數據不存在

我知道腳本正在使用子程序來生成數據,但我知道WGET能夠將輸出下載到文件中,我只是不清楚什麼標誌或選項設置,以使它做到這一點

回答

1

費用和營業額和其他狀態數據使用JavaScript設置在頁面上。據我所知,當JavaScript在瀏覽器上運行時,你不能這麼做,因爲它是在客戶端生成的。

+0

這就是我所害怕的。 WGET沒有辦法查看所有呈現的數據並保存到文件中。基本上像視頻捕捉? – user2105086 2013-02-24 18:41:01

+0

是的,有辦法...但在此之前,請重新考慮網絡抓取,因爲它在某些網站上被認爲是非法的。請閱讀他們的TOS,然後繼續。看看他們是否有一個你可以使用的API。 回到另一種方式,我認爲你需要嘗試[PhantomJS](http://phantomjs.org/) – 2013-02-24 18:45:47

+0

我不認爲我使用這三個網站的任何一個都會介意,我投資的生物我所有三個人的錢。來自該網站的數據基本上就像他們免費提供的基金篩選器一樣使用,但是我發現這些數據不足以滿足我的需求。但我完全理解你的觀點。我會檢查你的選擇......謝謝 – user2105086 2013-02-24 18:56:21

相關問題