使用請求和BeautifulSoup - Python返回沒有文本的標籤

Question

我試圖捕獲此頁面上的訪問次數，但python返回沒有文本的標籤。

這就是我所做的。

import requests 
from bs4 import BeautifulSoup 

r = requests.get("http://www.kijiji.ca/v-2-bedroom-apartments-condos/city-of-halifax/clayton-park-west-condo-style-luxury-2-bed-den/1016364514") 
soup = BeautifulSoup(r.content) 
print soup.find_all("span",{"class":"ad-visits"}) 

Answer 1

你想湊由JavaScript這樣beautfulsoup或requests被填充的值不會在這種情況下工作。

你需要使用類似selenium來獲得輸出。

from bs4 import BeautifulSoup 
from selenium import webdriver 

driver = webdriver.Firefox() 
driver.get("http://www.kijiji.ca/v-2-bedroom-apartments-condos/city-of-halifax/clayton-park-west-condo-style-luxury-2-bed-den/1016364514") 
soup = BeautifulSoup(driver.page_source , 'html.parser') 
print soup.find_all("span",{"class":"ad-visits"}) 

Selenium將返回網頁源代碼渲染，然後你可以使用beautifulsoup來獲取值

[<span class="ad-visits">385</span>]