使用python中的硒從網頁獲取表格數據

Question

我對網絡報廢非常陌生。我有以下網址：

https://www.bloomberg.com/markets/symbolsearch

所以，我用硒進入符號文本框，然後按查找符號，以獲得詳細信息。這是代碼：

from selenium import webdriver 
from selenium.webdriver.common.keys import Keys 

driver = webdriver.Firefox() 
driver.get("https://www.bloomberg.com/markets/symbolsearch/") 
element = driver.find_element_by_id("query") 
element.send_keys("WMT:US") 
driver.find_element_by_name("commit").click() 

它返回表。我如何檢索？我很無能。

第二個問題， 我可以在沒有硒的情況下執行此操作，因爲它會減慢速度嗎？有沒有辦法找到一個返回JSON的API？

Answer 1

from selenium import webdriver 
from selenium.webdriver.common.keys import Keys 
import time 
from bs4 import BeautifulSoup 
import requests 
driver = webdriver.Firefox() 
driver.get("https://www.bloomberg.com/markets/symbolsearch/") 
element = driver.find_element_by_id("query") 
element.send_keys("WMT:US") 
driver.find_element_by_name("commit").click() 
time.sleep(5) 
url = driver.current_url 
time.sleep(5) 

parsed = requests.get(url) 


soup = BeautifulSoup(parsed.content,'html.parser') 
a = soup.findAll("table", { "class" : "dual_border_data_table" }) 

print(a) 

這裏是您可以獲取所需的表格的總代碼。現在做你得到表後需要做的事情。希望它有幫助