我正在處理的數據存儲在範圍從1到60-50 MB的文件數量中。 我有興趣以表格形式顯示這些數據,並運行一些基本的聚合統計信息,例如SQL或R會執行一些基本的聚合統計信息。用於tsv/csv數據的JS數據分析庫
我自然可以在後端對SQL執行此操作,但我很想知道是否存在 任何類型的JavaScript庫,可以讓我從瀏覽器(或從節點服務器)中選擇,平均數,計數等,我不需要擁有完整的數據庫後端。
請指教。
我正在處理的數據存儲在範圍從1到60-50 MB的文件數量中。 我有興趣以表格形式顯示這些數據,並運行一些基本的聚合統計信息,例如SQL或R會執行一些基本的聚合統計信息。用於tsv/csv數據的JS數據分析庫
我自然可以在後端對SQL執行此操作,但我很想知道是否存在 任何類型的JavaScript庫,可以讓我從瀏覽器(或從節點服務器)中選擇,平均數,計數等,我不需要擁有完整的數據庫後端。
請指教。
經過一番研究,我找到了自己的問題的答案。
我在這裏發佈,因爲有些人可能會覺得它有用。我想要使用Miso library。 看看API。它看起來很有用。 這是另一個博客post,顯示瞭如何在Node和CouchDB中使用它。
也許你可以看看這個:https://github.com/aaronsnoswell/csvjson.js
然後顯示它,我知道最簡單的方法是「NG重複」從angularJS:http://docs.angularjs.org/api/ng.directive:ngRepeat
而對於統計部分:http://www.jstat.org/
對於數據處理,您可以使用Alasql JavaScript SQL庫進行處理。它實現了所有重要的SQL功能,並且可以編寫自己的函數。它也可以將TSV數據直接導入SELECT語句。 Alasql可以與d3.js或其他可視化工具包一起工作。
這是從TSV的數據文件,SQL的SELECT和用戶自定義功能的數據處理的例子:
alasql.fn.myFunc = function(z) {
return z*z*z;
}
var res = alasql('SELECT SUM(x), AVG(y) FROM TSV("mydata.tsv",{headers:true}) \
WHERE myFunc(z) > 1000');
由於您的文件到大,它是更好地使用Node.js的,而不是瀏覽器。