使用Python和Selenium進行網頁抓取，不知道如何獲取動態數據

我試圖從表中獲取值，但它們不在HTML中。但是，當我在瀏覽器中檢查它們時，它們在HTML中是。我猜他們是動態生成的，但我如何使用Selenium或Python中的其他方式捕獲它們？使用Python和Selenium進行網頁抓取，不知道如何獲取動態數據

來源

2017-08-02 svadhisthana

你想要的表格，正確的 – ksai

你可以這樣做

from selenium import webdriver 
import pandas as pd 
import time 

driver = webdriver.Chrome() 
driver.get('https://www.predictit.org/Contract/7422/Will-Trump-veto-Russian-sanctions-bill-by-August-31#prices') 

time.sleep(2) 
tables = pd.read_html(driver.page_source) # returns list of dataframes 
print(len(tables)) 
print(tables[2]) # this is table with YES 
print(tables[3]) # this is the table with NO

此代碼僅取表，但你需要做一些清潔。你可以閱讀文檔pandas.DataFrame

來源

2017-08-02 06:46:03 ksai

一旦我安裝了所有必要的模塊，就做到了這一點。謝謝！我將不得不查找「數據框」究竟是什麼。 – svadhisthana

爲了記錄，您必須在此解決方案運行之前點擊價格標籤。所以，「elem = driver.find_element_by_id（'getPrices'） elem.click（）」需要在代碼中。 – svadhisthana

我打開的網址包含'＃價格'。所以我不需要找到任何元素。 – ksai

使用Python和Selenium進行網頁抓取，不知道如何獲取動態數據

回答

相關問題