如何防止Solr添加頁眉和頁腳？

Question

我有一個網絡抓取工具（Ncrawler），它抓取網站內容，並且添加了代碼以將數據索引到solr。我的要求是避免將網站的頁眉，頁腳和導航窗格添加到索引進行索引。

有沒有辦法做到這一點？任何幫助將非常感激。

感謝， 阿努

Answer 1

您可以利用HtmlDocumentProcessor類，它具有在構造一個filterTextRules參數。此參數需要作爲Dictionary<string,string>傳遞，其中開始和結束字符串用於過濾標記。

作爲一個例子，我們說，你有你的HTML頁面的頁眉和頁腳，它們作爲HTML結構如下圖所示：

<!-- Begin Header --> 
all header markup is here 
<!-- End Header --> 

<!-- Begin Footer --> 
all footer markup is here 
<!-- End Footer --> 

在這種情況下，你可以在你的管道作爲初始化HtmlDocumentProcessor如下：

var pipelines = new IPipelineStep[] 
       { 
        new HtmlDocumentProcessor(
         new Dictionary<string, string> 
          { 
           {"<!--Begin Header", "<!--End Header"}, 
           {"<!--Begin Footer", "<!--End Footer"}, 
          }, 
          null), 
         new PdfIFilterProcessor(), 
         new TextDocumentProcessor(), 
       }; 

    using (var crawler = new NCrawler.Crawler(new Uri("http://ncrawler.codeplex.com"), 
      pipelines)) 
    { 
      //Processing here 
    } 

希望這可以幫助。有關filterTextRules參數及其工作原理的更多詳細信息，請參閱HtmlDocumentProcessor source。