我試圖把瀏覽器自動測試套裝和無頭瀏覽器平臺能夠刮的可能解決方案的列表。無頭瀏覽器和刮 - 解決方案
瀏覽器測試/刮:
- Selenium - 通曉旗艦瀏覽器自動化,綁定Python和Ruby,JavaScript中,C#,Haskell和更多,IDE的Firefox(作爲擴展)以加快測試部署。可以充當服務器並具有大量功能。
JAVASCRIPT
- PhantomJS - 的JavaScript,與屏幕捕獲和自動化無頭測試,使用Webkit的。隨着1.8版本的硒的webdriver的API實現的,所以你可以使用任何webdriver的約束力和測試將與硒
- SlimerJS兼容 - 類似PhantomJS,使用壁虎(火狐),而不是的WebKit
- CasperJS - 的JavaScript,建立在雙方PhantomJS和SlimerJS,具有額外的功能
- Ghost Driver - 的JavaScript實施的webdriver線的協議爲PhantomJS。
- 新PhantomCSS - CSS迴歸測試。 CasperJS模塊用於使用PhantomJS和Resemble.js進行自動化視覺迴歸測試。
- 新WebdriverCSS - 插件Webdriver.io用於自動化視覺迴歸測試
- 新PhantomFlow - 描述和可視化用戶流經測試。一種用於Web用戶界面測試的實驗方法。
- 新trifleJS - 端口PhantomJS API使用Internet Explorer引擎。
- 新CasperJS IDE(商業)
節點。JS
- Node-phantom - 橋接PhantomJS和的node.js
- WebDriverJs之間的間隙 - 硒的webdriver綁定的node.js由硒隊
- WD.js - 爲的webdriver /硒2節點模塊
- yiewd - 使用最新的Harmony生成器的WD.js包裝!擺脫回調的金字塔與產量
- ZombieJs - 速度飛快,無頭全棧使用Node.js的
- NightwatchJs測試 - 使用Selenium節點的webdriver基於JS測試解決方案
- Chimera - 奇美拉:可以千方百計什麼phantomJS的做法,但在一個完整的JS環境
- Dalek.js - 通過硒的webdriver
- Webdriver.io自動化與JavaScript的跨瀏覽器測試 - 使用預定義的50+動作更好地實現WebDriver綁定
- Nightmare - 具有高級API的電子橋。
- jsdom - 適合網頁抓取。 Node.js中實現了一個非常輕量級的DOM,它支持帶有JavaScript的頁面。
網頁抓取/開採
- Scrapy - 的Python,主要是刮刀/礦工 - 快速,有據可查的,並可以與Django Dynamic Scraper對漂亮的開採部署,或Scrapy Cloud對於PaaS的鏈接(無服務器)部署,可在終端或服務器獨立進程中使用,可與一起使用芹菜,構建於之上扭曲
- Snailer - node.js模塊,尚未測試。
- Node-Crawler - node.js模塊,尚未測試。
在線工具
- 新Online HTTP client - 專用SO回答
- 死CasperBox - 運行CasperJS腳本在線
相關鏈接&資源
問題:
- 任何純Node.js的解決方案或者對的NodeJS PhanthomJS/CasperJS模塊的實際工作,並記錄在案?
答:奇美拉似乎朝那個方向走,結賬Chimera
其他有能力更容易JavaScript注入比硒的解決辦法?
你是否知道純粹的紅寶石解決方案?
答:結帳用紅寶石RJK創建的列表基礎的解決方案
- 你知道任何相關的技術或解決方案?
隨意重新編輯了這個問題,並根據需要添加內容!感謝您的貢獻!
更新
- 添加SlimerJS到列表
- 添加Snailer和Node-Crawler和Node-phantom
- 添加Yiewd webdriver的包裝
- 添加WebDriverJs和WD.js
- 加入Ghost Driver
- 上Screen Scraper Blog
- 加入Comparsion of Webscraping software加入ZombieJs
- 加入Resemble.js和PhantomCSS和PhantomFlow,分類和重新編輯內容
- 2014年4月1日,加入Chimera,回答2個問題
- 加入NightWatchJs
- 新增DalekJS
- 加入WebdriverCSS
- 加入CasperBox
- 加入trifleJS
- 加入CasperJS IDE
- 加入Nightmare
- 加入jsdom
- 加入Online HTTP client, 更新CasperBox(死)
不知道如果那是你想要的,但我喜歡爬行網頁,檢查DOM等該模塊:https://npmjs.org/package/crawler 。它使用jsdom,你可以將jQuery作爲選擇器引擎。這一個(它使用爬蟲)看起來也很有趣:https://npmjs.org/package/snailer – hereandnow78
當然,我想列出所有人的資源 – Inoperable
我已經有了很多成功的節點模塊。這非常簡單,並且相當完善。它確實支持JavaScript注入。 –