mechanize

1熱度

1回答

試圖找出一種方法來使用一種機制來刮取並添加到UCAS網站上的所有數據。目前，我們正在努力處理鏈接點擊中的編碼問題。想知道是否有人可以提供幫助，在循環中有三個連續的鏈接點擊可以通過所有搜索結果頁面。第一個鏈接顯示爲大學所有課程是DIV類中morecourseslink 第二鏈接，顯示課程名稱，時間和QUAL是DIV類coursenamearea 第三個環節是在DIV coursedetailssh

0熱度

1回答

提交形式

我試圖提交表單到http://apps.fas.usda.gov/esrquery/esrq.aspx在python，使用下面的代碼： import urllib from bs4 import BeautifulSoup import mechanize import datetime today = datetime.date.today().strftime("%m/%d/%Y")

0熱度

1回答

Rails機械化datascrape查詢/清理結果

我從UCAS網站（使用機械化寶石）大量的數據，並且大部分工作正常，但是當我嘗試從蘇格蘭拉入門要求時，我遇到了一些麻煩。下面是我用來尋找和刮入學要求的代碼： entry_link = course_details.search('ul.details_tabs a').first if entry_link # If there is a link to a qualif

0熱度

1回答

Sidekiq機械化覆蓋實例

我正在用Sidekiq和Mechanize構建一個簡單的網絡蜘蛛。當我運行這個爲一個域，它工作正常。當我爲多個域運行它時，它會失敗。我相信原因是被另一個Sidekiq工作者實例化時被覆蓋，但我不確定這是真的還是如何解決它。 # my scrape_search controller's create action searches on google. def create @scr

0熱度

1回答

機械化：TypeError：'NoneType'對象不支持項目分配

試圖填寫表單以獲得城市中商品的平均價格。 basket = br.open('http://www.numbeo.com/cost-of-living/') read_it = basket.read() # Select form for form in br.forms(): print '%r %r %s' % (form.name, form.attrs.get('id'

0熱度

2回答

將列表傳遞給HTML表單Python

我想用Python將列表傳遞給HTML表單。我是一個noob，我不知道我在做什麼，所以任何意見，將不勝感激。我想要做的是填寫所有空白文本框，然後單擊單選按鈕並使用列表下拉列表/菜單。該列表將是表單的默認值。 form = cgi.FieldStorage() latitude = form.getvalue('latitude', '0') if config_settings.settin

-1熱度

1回答

如何處理一個'無盡的'網頁時，刮

我正在做一個刮板，從Facebook抓住我的朋友名單，然後從他們的共同朋友清單，目標是與數據構建一個網絡。我看着官方的Facebook API，而且似乎不可能這樣做，我決定只是從網頁上刮掉。使用機械化登錄後，我刮掉了頁面，發現Facebook一次只加載20個朋友，當您滾動時加載更多。我翻看了他機械化文檔，但我找不到解決方案。我在睡覺之前睡了幾秒鐘，然後纔打開頁面，但這也不起作用。不知道從哪裏去

3熱度

1回答

「主機名不匹配服務器證書」，在機械化的錯誤和HTTParty

偶爾，當我訪問有HTTParty或Mechanize一個網站，我得到這個錯誤： hostname "www.example.com" does not match the server certificate 我可以看到there is a workaround如果使用open方法，但我不確定如何利用上述寶石。堆棧跟蹤的Mechanize： agent = Mechanize.new ag

0熱度

1回答

Python使用__doPostBack函數實現機械化導航

如果表使用__doPostBack函數，如何使用機械化瀏覽網頁上的表格？我的代碼是： import mechanize br = mechanize.Browser() br.set_handle_robots(False) br.addheaders = [('User-agent', 'Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.0.1

0熱度

1回答

下載PDF文件是使用紅寶石機械化

使用Ruby機械化我已成功提交輸入值的形式和我能夠根據搜索條件，以獲得最終頁面HREF鏈接。由此產生的頁面有PDF文件作爲我需要下載的ahref鏈接。屬性HREF具有值： HREF ='xxx.do FILENAME =路徑/ abc.pdf & SEARCHTEXT = AAA & ID = 123_4 其中SEARCHTEXT是輸入的文本作爲輸入最初？。當我手動點擊鏈接pdf時，在網址爲h