使用xpath刮蹭新的ESPN網站[Python]

Question

我正試圖抓取新的ESPN NBA記分牌。下面是一個簡單的腳本，它應該返回的開始時間爲所有的遊戲在15年4月5日：

import requests 
import lxml.html 
from lxml.cssselect import CSSSelector 

doc = lxml.html.fromstring(requests.get('http://scores.espn.go.com/nba/scoreboard?date=20150405').text) 

#xpath 
print doc.xpath("//title/text()") #print page title 
print doc.xpath("//span/@time") 
print doc.xpath("//span[@class='time']") 
print doc.xpath("//span[@class='time']/text()") 

#CCS Selector 
sel = CSSSelector('span.time') 
for i in sel(doc): 
    print i.text 

它不返回任何東西，但頁面標題：

['NBA Basketball Scores - NBA Scoreboard - ESPN'] 
[] 
[] 
[] 

能

任何人的幫助？謝謝

Answer 1

頁面的性質是相當動態 - 有異步XHR請求，涉及的JavaScript邏輯。 requests不是瀏覽器，只下載最初的HTML頁面，requests獲取的HTML中沒有span元素，其中class="time"。

解決此問題的方法之一是使用selenium來使用真正的瀏覽器。下面是使用PhantomJS模擬瀏覽器的例子：

>>> from selenium import webdriver 
>>> 
>>> url = "http://scores.espn.go.com/nba/scoreboard?date=20150405" 
>>> 
>>> driver = webdriver.PhantomJS() 
>>> driver.get(url) 
>>> 
>>> elements = driver.find_elements_by_css_selector("span.time") 
>>> for element in elements: 
...  print element.text 
... 

1:00 PM ET 
3:30 PM ET 
6:00 PM ET 
7:00 PM ET 
7:30 PM ET 
9:00 PM ET 
9:30 PM ET 

---

或者，你可以尋找所需數據的div與id="scoreboard-page"的data-data屬性：

import json 
from pprint import pprint 

import lxml.html 
import requests 

response = requests.get('http://scores.espn.go.com/nba/scoreboard?date=20150405') 
doc = lxml.html.fromstring(response.content) 

data = doc.xpath("//div[@id='scoreboard-page']/@data-data")[0] 
data = json.loads(data) 

pprint(data)