在6000行csv/json文檔中搜索和聚合

Question

我正在尋找一個很好的解決方案，用於在文檔中進行全文搜索， 6000行，每列6列。

我目前已經嘗試過Meteor和MongoDB，但是我在做聚合時遇到了高CPU問題，並且pub/sub響應時間很慢。

我需要搜索多個單詞，並總結/彙總一個數字字段。

哪些技術是值得期待的，爲一個快速簡便的設置？

Answer 1

流星的pub/sub不適合一次發送大型數據集。它專爲反應式更新數據而設計（自動更新數據更改）。

在最佳條件下，通過延遲加載，使用限制將這些數據以小塊發送到客戶端，並按需完成。

但是，Mongoldb本身很適合在大型數據集中搜索！您可以搜索該主題。

的 「在大的數據集MongoDB中搜索」 google搜索的第一個結果返回這些文章：

https://www.mongodb.com/big-data-explained

http://johnpwood.net/2011/05/31/fast-queries-on-large-datasets-using-mongodb-and-summary-documents/

這可能是一個起點。

然後，您可以嘗試在流星的服務器端堅持使用您的搜索/聚合，並且僅將的結果返回給客戶端（使用延遲加載機制）。

關於你的CPU負載，你也可以考慮的第一篇文章和解決辦法「貪婪查詢」：

https://docs.mongodb.com/manual/core/query-optimization/