爲什麼我的網絡抓取代碼不工作？

-4

我想從與Python 2.7網站刮飛機到達，並將其導出到Excel，但事情是錯我的代碼：爲什麼我的網絡抓取代碼不工作？

import urllib2 
import unicodecsv as csv 
import os 
import sys 
import io 
import time 
import datetime 
import pandas as pd 
from bs4 import BeautifulSoup 

filename=r'output.csv' 

resultcsv=open(filename,"wb") 
output=csv.writer(resultcsv, delimiter=';',quotechar = '"', quoting=csv.QUOTE_NONNUMERIC, encoding='latin-1') 

url = "https://www.flightradar24.com/data/airports/bud/arrivals" 

page = urllib2.urlopen(url).read() 
soup = BeautifulSoup(page) 

data = soup.find('div', { "class" : "row cnt-schedule-table"}) 
print data

我需要的div的內容與row cnt-schedule table類。我究竟做錯了什麼？

來源

2017-07-20 tardos93

你在看過「湯」或「頁面」變量的內容後，是否已經設置好了？這可能會爲您提供一些線索。 – hnefatl

你必須爲BeautifulSoup指定一個* parser *，所以改爲：'soup = BeautifulSoup（page，'html.parser'）' – Stack

我改成了「soup = BeautifulSoup（page，'html.parser'）」但仍然不工作。 – tardos93

我認爲問題在於您試圖從JavaScript加載的數據集中獲取數據。不需要直接從頁面加載，您需要模擬頁面正在填充的數據請求。

來源

2017-07-20 18:55:10

爲什麼我的網絡抓取代碼不工作？

回答

相關問題