從大數據量計算統計信息

Question

我在一個擁有大約50萬活躍用戶的項目上工作。我們跟蹤了很多用戶交互事件（點擊等）。使用這些事件我們需要計算用戶行爲的統計數據。目前統計信息是在CRON後臺任務中計算的。

我們希望統計數據儘可能「在線」 - 而不是例如。從0到30分鐘不等。我們還想計算更多的統計數據。所以解決方案必須是可擴展的。

我的想法是讓隊列中的事件被前端應用程序推送，並由守護進程逐步處理事件計算統計信息。守護進程可以根據需要添加，對於不同的統計信息可以有不同的守護進程。你會推薦這種方法嗎？

是否有這種數據處理的框架？鏈接到任何資源將非常有幫助。

Answer 1

Twitter風暴似乎是我正在尋找 - https://github.com/nathanmarz/storm。