數據流/爬行體系結構設計

Question

我不確定這是否是適合此問題的正確論壇，但如果我能指出正確的方向，那將會很棒。我們一直在使用MySql和Solr的組合來滿足我們所有公司的全文和查詢需求。但是，隨着我們的客戶數量和數據量的增長，MySql的數據量並沒有被證明是存儲/查詢的正確選擇。

我一直在尋找Solr Cloud，它看起來非常令人印象深刻，但不確定是否應該放棄我們的存儲系統。所以，我一直在探索DataStax，但商業選擇是沒有問題的。因此，我們考慮使用hbase存儲數據，同時將數據索引到Solr雲中，但出於許多原因，這種設計似乎並不令人信服（也可以看出Lilly的基本原理）。

1. 會是建議只是用戶Solr的雲計算與多個複製或HBase的，Solr的似乎是不錯的選擇

2. 多少應變會保留兩個Solr的碎片和HBase的節點在同一臺機器

   上
3. 是否有計算需要什麼樣的機器配置來存儲500-1000萬條記錄。其中大多數是社交數據（Twitter/Facebook /博客等）以及多少碎片。

問候，

AYUSH

Answer 1

當我知道這是更好地使用HBase的，一般的NoSQL在與像MySQL和Oracle關係數據庫相結合的混合解決方案，而這正是Facebook和別人做。他們不會完全離開關係數據庫。 還有一點就是MySQL失敗後的解決方案並不一定是HBase。您可以嘗試用於大規模數據存儲的Oracle。

對不起英文不好。