我有一個系統,通過http(> 10k生產者,每天10個日誌,每行〜100行)接收來自不同地方的日誌文件。存儲很多日誌文件
我想存儲他們能夠計算雜項。統計他們每晚,出口他們(按到貨日期或第一行內容排序)...
我的問題是:什麼是最好的方式來存儲他們?
- 純文本文件(適當的鎖),每個上傳的文件一個文件,每天一個目錄/生產
- 純文本文件,每天一個(大)文件對所有生產商(這裏的問題將是索引和鎖定)
- 數據庫表中的文本(MySQL是首選內部原因)(PB與DB淨化爲刪除可能會很長!)
- 數據庫表,每行文本一個記錄與分片
- 數據庫(每天一張桌子),允許簡單的數據清除。 (這是分區,但我有權訪問(即內部支持)的MySQL版本不支持它)
- 基於文檔的數據庫àla couchdb或mongodb(問題可能與索引/成熟度/攝入速度有關)
有什麼建議嗎?
這是一個系統管理員問題,這意味着它屬於姊妹站點「服務器故障」serverfault.com – tylerl 2009-06-24 08:25:30
不是真的,我要求的答案確實對開發產生重大影響 – makapuf 2009-06-24 09:03:00