從網站使用python獲取元素而無需打開瀏覽器

Question

我正在嘗試編寫一個python腳本，它解析網站中的一個元素，並將其打印出來。

我不知道如何實現這個，沒有selenium的webdiver，爲了打開一個瀏覽器，處理腳本來正確顯示網站。

from selenium import webdriver 
browser = webdriver.Firefox() 
browser.get('http://groceries.asda.com/asda-webstore/pages/landing/home.shtml#!product/910000800509') 
content = browser.page_source 
print(content[42000:43000]) 
browser.close() 

這只是一個粗略的草案，將打印內容，包括利息<span class="prod-price-inner">£13.00</span>的元素。

如何在沒有瀏覽器打開的情況下獲取感興趣的元素，甚至不使用瀏覽器？

編輯：我以前試過用urllib或bashwget，這既缺乏必要的JavaScript解釋。

Answer 1

至於其他的答案中提到，此網頁需要JavaScript來呈現內容，所以你不能簡單地通過lxml，Beautiful Soup或類似的庫來獲取和處理頁面。但有很多方法可以獲得您想要的信息。

我注意到您提供的鏈接以結構化的方式從內部API獲取數據。根據網址顯示產品編號爲910000800509。如果您查看Chrome開發工具（或您的瀏覽器的等效開發工具）中的網絡選項卡，則會看到正在對以下網址發出GET請求：http://groceries.asda.com/api/items/view?itemid=910000800509。

您可以請求像這樣只用json和requests模塊：

import json 
import requests 

url = 'http://groceries.asda.com/api/items/view?itemid=910000800509' 
r = requests.get(url) 
price = r.json()['items'][0]['price'] 

print price 
£13.00 

這也使您可以訪問到許多有關產品的其他信息，因爲請求返回一些JSON與產品的詳細信息。

Answer 2

如何在沒有瀏覽器打開的情況下獲取感興趣的元素， 甚至根本沒有瀏覽器？

檢查頁面後你試圖解析：

http://groceries.asda.com/asda-webstore/pages/landing/home.shtml#!product/910000800509

我意識到如果啓用javascript，它只是顯示的內容，基於這一點，你需要使用實瀏覽器。

---

結論：

要走的路，如果你需要使自動化，方法是：

selenium