mechanize-ruby

2熱度

4回答

我正在使用機械化來抓取需要登錄的站點。下面的代碼登錄我進去。 require 'mechanize' agent = Mechanize.new agent.get 'http://www.specialsite.com' agent.page.form.txtEmail = '[email protected]' agent.page.form.txtPassword = 'myPa

2熱度

1回答

使用mechanize-ruby提交登錄表單時，我可以使用變量來表示字段名稱嗎？

使用Mechanize提交登錄表單時遇到問題。例如，如果我需要登錄到到位桶： a = Mechanize.new a.get('https://bitbucket.org/') do |page| login_page = a.click(page.link_with(text: 'Log In')) my_page = login_page.form_with(actio

2熱度

1回答

如何使用其生成的文件名使用ruby和機械化來下載文件？

我正在嘗試從使用CDN進行分發的網站下載文件。下載頁面上的URL都以file.pdf結尾，但單擊瀏覽器中的鏈接會導致下載帶有描述性文件名的文件（例如'invoice1234.pdf'）。很明顯，解析URL來獲取文件名會導致每個文件被命名爲file.pdf - 我想使用通過瀏覽器下載時使用的相同文件名。我的代碼看起來像這樣： filename = File.basename(download.hre

1熱度

1回答

XPath來獲取文本形式

我有這樣一個頁面的HTML結構裏面， <form align="center" method="post" name="form1"> <input type="hidden" value="J0512-0491" name="jobid"> <input type="hidden" value="1" name="BDID"> <br> <hr> <b>Category: </b>

4熱度

1回答

如何在Ruby中使用機械化執行頭部請求

我可以使用Faraday（Faraday.head url）執行HEAD請求，但我在當前項目中使用了機械化。我想在沒有下載文件的情況下從頭文件中獲取一個值。機械化寶石是否提供這樣的選擇？我正在使用v2.0。

2熱度

2回答

紅寶石機械化與http身份驗證問題

我有問題解決使用http身份驗證的網站，我有一個網站的列表，我做了一些報廢，但其中一些有他們的HTTP身份驗證。我不希望獲得那些我希望能夠確定它們是否被http auth守護並繼續前進的網站的內容。例如，在代理下面的代碼片段中，永遠不會返回，因此我無法處理它。我該如何處理這種情況？ require 'mechanize' agent = Mechanize.new page = agent.g

5熱度

2回答

getaddrinfo錯誤與機械化

我寫了一個腳本，將通過我們的數據庫中的所有客戶，驗證他們的網站網址的作品，並試圖找到他們的主頁上的Twitter鏈接。我們有超過10,000個網址進行驗證。如果網址已經過驗證，那麼我們會爲每個網址獲取getaddrinfo錯誤。這裏有擦傷單個URL代碼的副本： def scrape_url(url) url_found = false twitter_name = nil

2熱度

2回答

不明原因的不一致性下載使用Ruby機械化的XLS文件時後重定向

我有訪問fcc.gov一個腳本，然後點擊觸發一個下載鏈接： require "mechanize" docket_number = "12-268" #"96-128" url = "http://apps.fcc.gov/ecfs/comment_search/execute?proceeding=#{docket_number}" agent = Mechanize.new age

0熱度

2回答

Twitter API與Web抓取？

首先，我想讓我的Twitter帳戶的所有追隨者。我做了一些研究，發現我們可以使用Ruby on Rails進行網頁抓取：Nokogiri或Mechanize gems。我也有一個CSS選擇器用於網頁抓取。現在，如果我查看，HTML頁面源不會顯示帳戶的所有追隨者。我真的可以使用網頁抓取代碼來獲取我所有的Twitter追隨者嗎？或者我應該使用Twitter API嗎？

0熱度

1回答

紅寶石機械化：驗證「選擇」元素值

我試圖驗證的下降值下使用Ruby的機械化我有這個漂亮的印刷形式：前： #<Mechanize::Form ... [selectlist:0xefdae4 type: name: time_entry[activity_id] value: []]} ... {buttons [submit:0xefe124 type: submit name: commit