2013-01-22 17 views
5

需要什麼樣的體系結構來存儲100 TB數據並通過聚合進行查詢?多少個節點?每個節點的磁盤大小?最佳做法是什麼?關於Mongo DB的100 TB數據?可能?

每天240GB將被寫入,但大小將保持相同,因爲相同數量的數據將被刪除。

還有關於存儲數據和快速組查詢的不同想法?

+0

可能重複的[MongoDB限制存儲大小?](http://stackoverflow.com/questions/4327723/mongodb-limit-storage-size) –

+0

是的,它是,相關的問題已過時,因爲有自那以後,用戶羣體的情況就變得更大。 – Sammaye

+1

您使用vertica標籤對此進行了標記。你還想要一些關於這方面的信息嗎? – geoffrobinson

回答

3

我強烈推薦HBase

Facebook uses it for its Messages該服務於2010年11月每天處理150億條消息。

我們測試了一個大型數據集的MongoDB,但最終與HBase一起進行了數月,現在已經開心地使用它了。

+0

你是如何處理基礎設施管理的?我們是一家小型創業公司,沒有足夠的資源去做100% – noli

+1

對不起,也許我不理解 - 基礎設施管理是什麼意思?你的意思是管理Hadoop/HBase集羣?我們使用Amazon Elastic MapReduce。 – Suman

+0

這是我的問題..謝謝! – noli