存儲和顯示統計

Question

我會在PHP被寫一些軟件來分析日誌文件和彙總數據，然後以圖形顯示出來（如柱狀圖，沒有頂點和邊）。

是的，這基本上是一個我公司擁有一個完整的團隊，商業智能軟件，但顯然他們沒有做大量的工作（10分鐘加載頁面只是沒有做到這一點）。

這是我必須做的：

• 日誌文件是數據文件從我們已經建立了從我們的辦公室運行的統計數據服務器存儲的原始數據（我們發送異步調用的統計數據服務器有點像谷歌分析）。它以csv格式存儲數據。
• 編寫一個腳本來解析文件和數據彙總到一個數據庫（或我在想Redis的）
• 會有的東西千萬聚集，從而顯示統計數據時，它必須要快

我知道OLAP的數據庫，但如果我想要去的Redis你認爲它會擴展爲大容量的數據？爲了解析這些文件，你認爲一個PHP腳本就足夠了，還是應該像C/C++那樣更快一些？

基本上我想獲得有關不同的方式來完成我的任務，一些有趣的想法。它必須快速和規模。

任何想法？

Answer 1

這聽起來像你正在談論的尺度，你需要單獨的數據彙總和顯示。也就是說，當生成日誌文件時，你應該有一些工作來接收日誌文件，解析它們並將數據插入到數據庫中;這將是一個漫長而複雜的任務。然後，當用戶想要顯示數據圖時，他們可以向PHP服務器發出請求，該服務器將從數據庫中提取數據並構建他們想要的顯示。通過這種方式，你的解析與你的顯示請求是分離的（儘管它仍然是依賴依賴的，你的解析可以在日誌文件變得可用時開始，因此解析它們的時滯在顯示時被隱藏）。