網絡抓取cnbc.com

Question

我想用bs4抓this page，我想知道我該如何刮EUR/USD,price change和price %？

我是很新的這一點，所以這是我到目前爲止有：

import requests 
from bs4 import BeautifulSoup 

url = 'http://www.cnbc.com/pre-markets/' 
source_code = requests.get(url).text 
soup = BeautifulSoup(source_code, 'lxml') 

for r in soup.find_all('td', {'class': 'first text'}): 
    print(r) 

Answer 1

你正在尋找可能正在加載使用JavaScript，因此你不能看到他們BS4的數據。但你可以使用像PhantomJS，Selenium或Splash這樣的無頭瀏覽器。另請參閱此響應：scraping dynamic updates of temperature sensor data from a website