有效的方法來存儲站點範圍的用戶活動

Question

我嘗試通過搜索stackoverflow以及搜索周圍很多，但無法找到我的問題的答案（我想我正在尋找錯誤的關鍵字/術語）。

我們正在建立一個推薦引擎，當我們最初將所有的用戶活動記錄在自定義日誌中（我們使用ruby/rails）時，我們需要對該文件進行EOD掃描並根據用戶。我們還有一些其他用戶數據來自其他地方（他的fb活動，twitter時間線等），因此通過EOD，我們希望將某個特定用戶的所有數據保存在某個地方，然後在所有的地方運行我們的分析器代碼用戶的數據來生成建議。

問題是我們正在生成大量的數據，雖然目前我們正在使用一個mysql表來存儲所有這些數據，但我們不確定直到有多少時間我們可以繼續這樣做，因爲我們的用戶羣增長（我們仍在內部測試它，大約有10個用戶進行大量活動）。此外，作爲渴望的開發人員，我們希望嘗試一些能夠滿足我們需求的新功能。

任何在這個方向的指針都會非常有幫助。

Answer 1

結賬Amazon Elastic Map Reduce。它是爲這種非常類型的東西而打造的。