2013-05-01 40 views
0

我打算對bmtc總線連接網絡進行網絡分析...所以我需要獲取有關公交線路的數據。據我所知,最好的網站是 http://www.narasimhadatta.info/bmtc_query.html 在「按路線搜索」選項下,給出了整個路線列表,並且可以選擇其中的任何一個,點擊「提交」後將顯示詳細路線。以前,當我在線獲取數據時,我習慣於將每個項目(在這種情況下爲路由號碼)導向不同的URL,並且我曾經使用Python從源頁面獲取數據。但是,無論公交路線如何,最終頁面始終有網址 http://www.narasimhadatta.info/cgi-bin/find.cgi 而且它的源頁面不包含路線詳細信息!通過不同頁面抓取腳本並獲取數據的腳本

我只對Python和Matlab感到滿意。我無法找出任何方式從該網站獲取數據。如果你能看到什麼,在技術上應該能夠下載數據(至少這是我相信的)。那麼您能否幫我解決一個代碼,它會自動搜索每個公交路線號並下載路線詳細信息?

+0

我會用[Scrapy] (https://scrapy.readthedocs.org/en/0.16/)。 – Blender 2013-05-01 19:43:41

回答