2011-03-19 224 views
0

我必須從enterprice networks中捕獲索引日誌記錄。在當前的實現中,每個協議都有索引文件作爲year/mont/day/lucene文件,我想知道如果我只使用一個lucene索引文件並且我每天更新這個單個文件這個效果如何搜索時間?這是一個很大的提高,在目前的情況下,當我搜索我當天正在查詢的時候。 電流:SMTP /年/月/ AY/luceneindexlucene文件索引

,如果我做的SMTP/luceneindex單一file.Let所有IDEX我知道prons和缺點

+0

爲什麼使用Lucene而不是像Sawmill或AWStats這樣的日誌解析應用程序? – allnightgrocery 2011-03-19 20:56:04

回答

1

這取決於整個一系列因素。

當你說一個lucene文件? Lucene使用多種類型的文件存儲一個索引,並且有段,因此無論如何都有多個文件。

什麼是你如何索引日誌數據?

你用什麼來查詢lucene索引,solr,elasticsearch,custom?

您是否運行單個實例,單機配置。

你可以運行多個進程,在不同的主機上,使用一些用於搜索任務和其他用於索引更新?

什麼是您典型的搜索查詢,例如,針對這些情況進行優化。

查看分佈式搜索選項http://elasticsearch.org/http://lucene.apache.org/solr/

lucene有選項可以在內存中運行,如RAMDirectory,您可能會喜歡調查。

單日文件的大小會對管理造成問題嗎? 文件大小是否會相對於磁盤變得如此之大,複製,移動帶寬限制會帶來問題。