使用谷歌瀏覽器擴展的網頁搜刮Python

嗨，我是一個Python新手，我正在網頁抓取一個網頁。使用谷歌瀏覽器擴展的網頁搜刮Python

我正在使用Google Chrome開發人員擴展程序來識別要刮取的對象的類。但是，我的代碼返回空數組結果，而屏幕截圖清楚地表明這些字符串在HTML代碼中。 Chrome Developer

import requests 
from bs4 import BeautifulSoup 

    url = 'http://www.momondo.de/flightsearch/?Search=true&TripType=2&SegNo=2&SO0=BOS&SD0=LON&SDP0=07-09-2016&SO1=LON&SD1=BOS&SDP1=12-09-2016&AD=1&TK=ECO&DO=false&NA=false' 
    html = requests.get(url) 
    soup = BeautifulSoup(html.text,"lxml") 
    x = soup.find_all("span", {"class":"value"}) 
    print(x) 
    #pprint.pprint (soup.div)

我非常欣賞你的幫助！

非常感謝！

來源

2016-08-23 Fabian

請確保您所期望的數據實際存在。使用''' print（soup.prettify（））'''來查看請求中實際返回的內容。取決於網站的工作方式，您要查找的數據可能僅在處理完javascript後才存在於瀏覽器中。你可能也想看看硒 – WombatPM

將我的意見轉換爲答案...

確保您所期望的數據實際上存在。使用print(soup.prettify())查看請求中實際返回的內容。取決於網站的工作方式，您要查找的數據可能僅在處理完javascript後才存在於瀏覽器中。您可能還想看看selenium

來源

2016-08-23 15:09:24 WombatPM

使用谷歌瀏覽器擴展的網頁搜刮Python

回答

相關問題