大型數據處理技術和書籍

Question

我正在尋找如何有效地查詢大量數據的好資源。

每個數據項表示爲許多不同的屬性，如數量，價格，歷史信息等。客戶端將提供不同的查詢條件，但不需要更改數據集。通過簡單地將所有數據存儲到MS中，SQL並不是一種好的方法b/c MS SQL的可擴展性並不好。在這裏，我們針對許多tera字節數據，需要200-300個CPU羣集。

我對良好的資源或書籍感興趣，至少我可以做一些研究。

Answer 1

您是否認爲NoSql解決方案爲MongoDb？

Answer 2

如果查詢速度不是你的頭號問題，你應該看看你是否可以用ROOT建立解決方案，可能與PROOF一起。與NoSql解決方案相比，您可以在這裏交易一致性以獲得一定的速度。

它被CERN實驗用來存儲和檢索他們的實驗數據（遠遠超過你的要求），如果你能找到一種方法來處理I/O，它可以很好地擴展。

我聽說它被一些做定量金融的公司使用。