2016-06-01 99 views
0

我可以在沒有用戶交互的情況下觸發OpenRefine腳本在後臺運行嗎?可能使用Windows服務加載OpenRefine配置文件或使用參數啓動OpenRefine Web服務器並保存輸出?是否可以在後臺運行OpenRefine腳本?

我們從文件中解析各種數據源,並將輸出放到sql server中的特定表和字段中。我們有一個非常古老的應用程序來創建這些「匹配模式」,並希望用更現代的東西來取代它。速度很重要,但並不重要。我們通常會用5到1,000,000行解析文件。

如果有的話,我可能會用錯誤的方向用OpenRefine來告訴我。我們的創建這些「匹配模式」的支持團隊最適合使用像OpenRefine這樣的UI,而不是編寫Perl或Python腳本。

感謝您的幫助。

回答

0

OpenRefine有一組庫,可讓您自動執行現有工作。下列是可用的: * 2在Python herehere *一個在rubynodejs

這些庫*一個需要兩個輸入:

  1. 一個源文件中OpenRefine
  2. 被處理JSON格式的OpenRefine操作。

RefinePro(聲明我RefinePro的創始人兼CEO),我們已經寫了一些額外的包裝安排來選擇OpenRefine項目,提取JSON操作,啓動庫,並保存結果。然後可以安排新創建的作業。

請記住,OpenRefine的錯誤處理非常差,這限制了它作爲ETL平臺的使用。

+0

除了@magdmartin提到的庫之外,還有一個名爲「batchrefine」的實用程序,它提供了以批處理模式運行OpenRefine的方法https://github.com/fusepoolP3/p3-batchrefine/blob/master/README。 MD –