2012-11-14 85 views
0

我的工作場所將客戶端記錄保存在可通過本地網絡上託管的aspx應用程序訪問的數據庫中。該頁面允許登錄,簡單搜索和檢索顯示在該網頁上的信息。我正在執行的任務要求我訪問每條記錄,將一段文本複製到我們正在創建的新數據庫中,並移至下一條記錄(成千上萬次)。通過aspx應用程序訪問遠程數據

我的問題是,有沒有一種方法可以自動執行此操作?我查看了瀏覽器宏,但搜索每條記錄的任務不允許使用簡單的宏接口。我希望能夠編寫一個不需要瀏覽器就直接與aspx應用程序交互的程序。在代碼中,我將能夠告訴應用程序哪些記錄(例如按日期或唯一ID),並讓aspx應用程序返回我需要的相應文本字段。我沒有到ASPX應用程序(它是一個第三方,專有應用及其開發者是沒有興趣幫助我完成這個任務)

  1. 可以這樣做任何後端訪問?
  2. 如果是,廣義上說,我應該看什麼樣的解決方案?有沒有更適合這項任務的特定語言?

任何幫助表示讚賞。我意識到這個問題有點模糊和廣泛,但第三方應用程序只在本地託管,所以我不能舉一個例子。我知道有一點紅寶石,並且遇到了機械化的寶石,看起來它可能會工作......但我找不到很多關於與asp.net交互的東西

+0

爲什麼不直接訪問數據庫?腳本化應用程序以從您擁有的數據庫中檢索數據的行爲似乎過分Rube Goldberg。 – andleer

+0

同意。非常Rube Goldberg。不幸的是,如上所述,數據庫和應用程序是專有的(第三方),我無權訪問後端。 – Jason

回答

0

您正處在紅寶石機械化的正確軌道上。機械化會跟蹤你的cookies並使其易於提交表單(登錄,asp doPostBack操作)。試一試,如果你遇到困難,請在新問題中發佈具體內容。

+0

謝謝。我已經對Mechanize做了一些更多的閱讀,我同意這是一條路。看起來這將是很多工作。對於這個問題的其他人,我發現了一個關於機械化,拼湊和編碼的很好的教程:http://ruby.bastardsbook.com/chapters/web-scraping/ – Jason

+0

我對這篇教程並不感興趣。對於專門用ruby機械化抓取asp頁面,請考慮[從這裏開始](http://scraperblog.blogspot.com/2012/10/asp-forms-with-dopostback-using-ruby.html)*自插件。 – pguardiario

相關問題