如何使用Ajax元素

Question

抓取網頁，我想抓取了一些網頁，像下面

http://www.youtube.com/user/koglin66/feed?filter=2

，但有一個「加載更多」按鈕，它關係到一個Ajax請求

http://www.youtube.com/channel_ajax?action_load_more_feed_items=1&activity_view=1&paging=1352148528&channel_id=UCCw8aVnsIeu9S6OPQyaQ14g 

我想抓取整個頁面。 手動，我已經反覆點擊按鈕，直到沒有更多的加載， 通過自動化，我怎樣才能抓取整個頁面？謝謝！

Answer 1

我最近面臨同樣的問題與其他網站，我想放棄。我使用Java和網絡上的一些研究之後，我用火狐硒IDE中，u可以編寫Java JUnit測試的情況下，它會自動打開網頁，點擊按鈕，填寫表格等 它還支持C＃，Python和Ruby等

我用它來點擊載入更多按鈕，並在頁面被我手動保存它的所有點擊後完全加載。

你可以從他們的網站上下載硒，我發現這個YouTube視頻太有用http://www.youtube.com/watch?v=twdDfDOrHC4

Answer 2

是的，你可以使用Selenium IDE，或者使用其他程序/庫瀏覽器內核做點擊動作。像webkit，IE的ActiveX。

你還可以試試FMiner http://www.fminer.com/，它可以記錄和瀏覽器中播放人類活動抽取數據，但它不是免費的。