我必須從enterprice networks中捕獲索引日誌記錄。在當前的實現中,每個協議都有索引文件作爲year/mont/day/lucene文件,我想知道如果我只使用一個lucene索引文件並且我每天更新這個單個文件這個效果如何搜索時間?這是一個很大的提高,在目前的情況下,當我搜索我當天正在查詢的時候。 電流:SMTP /年/月/ AY/luceneindexlucene文件索引
,如果我做的SMTP/luceneindex單一file.Let所有IDEX我知道prons和缺點
我必須從enterprice networks中捕獲索引日誌記錄。在當前的實現中,每個協議都有索引文件作爲year/mont/day/lucene文件,我想知道如果我只使用一個lucene索引文件並且我每天更新這個單個文件這個效果如何搜索時間?這是一個很大的提高,在目前的情況下,當我搜索我當天正在查詢的時候。 電流:SMTP /年/月/ AY/luceneindexlucene文件索引
,如果我做的SMTP/luceneindex單一file.Let所有IDEX我知道prons和缺點
這取決於整個一系列因素。
當你說一個lucene文件? Lucene使用多種類型的文件存儲一個索引,並且有段,因此無論如何都有多個文件。
什麼是你如何索引日誌數據?
你用什麼來查詢lucene索引,solr,elasticsearch,custom?
您是否運行單個實例,單機配置。
你可以運行多個進程,在不同的主機上,使用一些用於搜索任務和其他用於索引更新?
什麼是您典型的搜索查詢,例如,針對這些情況進行優化。
查看分佈式搜索選項http://elasticsearch.org/或http://lucene.apache.org/solr/。
lucene有選項可以在內存中運行,如RAMDirectory,您可能會喜歡調查。
單日文件的大小會對管理造成問題嗎? 文件大小是否會相對於磁盤變得如此之大,複製,移動帶寬限制會帶來問題。
爲什麼使用Lucene而不是像Sawmill或AWStats這樣的日誌解析應用程序? – allnightgrocery 2011-03-19 20:56:04