Python的機械化的JavaScript

Question

我試圖用機械化抓住從這個網站紐約的大都會北方鐵路價格：
http://as0.mta.info/mnr/fares/choosestation.cfm

的問題是，當你選擇第一個選項，該網站使用JavaScript來填充您的可能目的地列表。我在python中編寫了等效的代碼，但我似乎無法完成所有工作。這是我到目前爲止有：

import mechanize 
import cookielib 
from bs4 import BeautifulSoup 

br = mechanize.Browser() 
br.set_handle_robots(False) 
br.addheaders = [('User-agent', 'Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.0.1)  Gecko/2008071615 Fedora/3.0.1-1.fc9 Firefox/3.0.1')] 

br.open("http://as0.mta.info/mnr/fares/choosestation.cfm") 

br.select_form(name="form1") 
br.form.set_all_readonly(False) 

origin_control = br.form.find_control("orig_stat", type="select") 
origin_control_list = origin_control.items 
origin_control.value = [origin_control.items[0].name] 

destination_control_list = reFillList(0, origin_control_list) 

destination_control = br.form.find_control("dest_stat", type="select") 
destination_control.items = destination_control_list 
destination_control.value = [destination_control.items[0].name] 

response = br.submit() 
response_text = response.read() 
print response_text 

我知道我沒有給你的reFillList()方法的代碼，因爲它的長，但認爲它正確地創建mechanize.option對象的列表。 Python不會抱怨我的任何事情，但在提交時，我得到這個警報的HTML：

「兩條線之間的旅行的票價信息不在線提供，請聯繫我們的客戶信息中心511與代表交談以獲取更多信息。「

我在這裏錯過了什麼嗎？感謝所有的幫助！

Answer 1

如果您知道電臺的ID，很容易給自己POST請求：

import mechanize 
import urllib 

post_url = 'http://as0.mta.info/mnr/fares/get_fares.cfm' 

orig = 295 #BEACON FALLS 
dest = 292 #ANSONIA 

params = urllib.urlencode({'dest_stat':dest, 'orig_stat':orig }) 
rq = mechanize.Request(post_url, params) 

fares_page = mechanize.urlopen(rq) 

print fares_page.read() 

如果你的代碼，以找到一個給定初始ID的目的地ID列表（即refillList()一個變種），則可以對每個組合運行此請求：

import mechanize 
import urllib, urllib2 
from bs4 import BeautifulSoup 

url = 'http://as0.mta.info/mnr/fares/choosestation.cfm' 
post_url = 'http://as0.mta.info/mnr/fares/get_fares.cfm' 

def get_fares(orig, dest): 
    params = urllib.urlencode({'dest_stat':dest, 'orig_stat':orig }) 
    rq = mechanize.Request(post_url, params) 

    fares_page = mechanize.urlopen(rq) 
    print(fares_page.read()) 

pool = BeautifulSoup(urllib2.urlopen(url).read()) 

#let's keep our stations organised 
stations = {} 

# dict by station id 
for option in pool.find('select', {'name':'orig_stat'}).findChildren(): 
    stations[option['value']] = {'name':option.string} 

#iterate over all routes 
for origin in stations: 
    destinations = get_list_of_dests(origin) #use your code for this 
    stations[origin]['dests'] = destinations 

    for destination in destinations: 
     print('Processing from %s to %s' % (origin, destination)) 
     get_fares(origin, destination)