分佈式日誌系統

Question

我需要將日誌存儲在分佈式文件系統中。

假設我有很多類型的日誌。每個日誌類型都記錄在文件中。但是這個文件可能很大，所以它必須分佈在很多節點上（通過複製來保證數據的持久性）。

這些文件必須支持append/get操作。

是否有分佈式系統可以滿足我的需求？

謝謝！

Answer 1

將NAS與非MongoDB數據庫（如MongoDB）結合使用，您將擁有分佈式，大容量和容錯能力。

當然，沒有更多的具體細節，如多少數據，日誌結構（或缺乏）等，真的很難推薦一個真正的產品。例如，如果通過「巨大」你真的意味着2TB或更少，並且數據是高度結構化的，那麼在2臺機器羣集環境中的常規SQL服務器可以很好地進行故障轉移。然而，如果「巨大」意味着EB級或更高和/或非結構化數據，則需要幾個大型（並且非常昂貴的）NAS設備。在其上運行了一組聚集了故障/過和/或多主的關係沒有SQL數據庫的...

Answer 2

我會建議水槽，從鄉親Cloudera的日誌拉動基礎設施：

http://github.com/cloudera/flume

您也可以從Facebook嘗試抄寫：

http://github.com/facebook/scribe

Answer 3

您可以使用Logstash收集日誌，並與他們集中羣集。本地日誌可能是滾動日誌文件，所以它們仍然很小。 此外，您可以使用Graylog2來分析和查看您的日誌。