<Web Scraping>元素在HTML中不可見？

Question

我想寫一個python web刮板，需要一個潘多拉帳戶，並從中獲取所有的電臺。

但是，電臺不會立即顯示出來，我需要單擊顯示全部按鈕才能查看所有電臺。而且，即使在我點擊顯示全部後，源代碼仍然保持不變！

我的問題是顯示這些看似不可見的額外元素的html在哪裏？

例）

如果你去http://www.pandora.com/people/nenadbach#tbl_stations_table,all （在＃tbl_stations_table，一切都讓所有站露面，這就是「全部顯示」按鈕，把你）

，並查看源時，來自伊帕內瑪廣播電臺的女孩不存儲在直接來源

感謝您的幫助！

Answer 1

如果您從Firebug（如果使用Firefox）或Inspector（如果使用Safari或Chrome）查看源代碼，則可以看到數據在那裏。它最有可能通過ajax（JavaScript）被拉入。

你可能需要一個理解JavaScript或者發現http ajax調用它並自己調用它的scraper。您可能尋找電話是：是最有可能這是在使用cookie來檢測你是誰，什麼列表中顯示

http://www.pandora.com/favorites/profile_tablerows_station.vm?webname=nenadbach&countRowsOnBrowser=10&countRowsNeeded=25

注意。