2011-06-21 48 views
3

爲Web應用程序構建概念分析儀表板功能證明,允許用戶查看誰訪問了他們的個人資料並查看他們擁有的內容發佈。想想.me風格的儀表板。高效處理大數據的技術(讀,寫,查詢,聚合)

當用戶在應用程序中執行相關操作時,正在將數據點(主題,動詞,對象,時間戳元組格式)寫入MySQL表(快速接近一百萬條記錄)。這種寫法使用cURL + cron job +消息隊列機制發生不同步。

不確定如何繼續在分析儀表板上進行實際歸類,彙總和呈現這些數據,這種方式不會佔用我服務器上太多的資源。

尋找提示,戰爭故事和技術,這將簡化我的生活與這些東西。

回答

1

爲什麼不直接從select查詢開始,看看它是如何執行的?
如果當您遇到緩慢,你隨時可以:

  • 調整您的查詢,使用內存表,發揮創意與觸發器,黑洞表和諸如此類的東西。
  • 安裝從服務器並從從服務器進行選擇。
  • 安裝一個黑洞主機和附加多個奴隸到

我建議您閱讀高性能的MySQL:http://oreilly.com/catalog/9780596003067

+0

你是對的 - 否則可能會冒險引進新的和潛在的基礎設施負擔的東西它可能不成問題。找出我過早優化的方法;) – ubermensch