如何獲取初始網頁後加載的網頁元素？

我試圖從Yahoo Finance（here's Google as an example）下載股票期權數據，其中requests.get似乎沒有下載任何東西。我試圖使用XPath獲取日期的下拉列表，但即使Chrome DevTools說有13個實例，即使//option也不會返回任何內容！如何獲取初始網頁後加載的網頁元素？

我希望這與事實有關，事實上，該網站的部分實際上正在加載後所有的導航欄等，我不知道如何得到它所有。您能否建議一種獲取日期下拉菜單中每個項目文本的方法？

來源

2016-10-07 spelchekr

http://stackoverflow.com/questions/39218742/using-beautifulsoup-to-search-through-yahoo-finance –

如果您打開開發控制檯並再次刷新頁面（可能需要清除緩存），則可以看到類型爲xhr的一些請求。

它們通常由JavaScript程序啓動，除了HTML主體提供的數據外，還會加載一些數據。

這就是你可以看看。

來源

2016-10-07 04:02:45 Ivan

只是要標記到這個答案：https://query1.finance.yahoo.com/v7/ finance/options/GOOG？formatted = true＆crumb = B2JsfXH.lpf＆lang = zh-CN＆region = US＆corsDomain = finance.yahoo.com查看該鏈接是否有您想要的信息。 –

在隱身模式下（我知道使用新的緩存和所有內容），控制檯仍然不會給我任何'xhr'請求......這是控制檯，它是Chrome devtools中的第二個選項卡，對不對？ – spelchekr

@RafaelMartins你能詳細說明你如何得到這個鏈接嗎？ – spelchekr

如何獲取初始網頁後加載的網頁元素？

回答

相關問題