WhitespaceTokenizerFactory和StandardTokenizerFactory之間的區別

Question

我是Solr的新手。通過閱讀Solr的wiki，我不明白WhitespaceTokenizerFactory和StandardTokenizerFactory之間的區別。他們真正的區別是什麼？

Answer 1

它們在將分析的文本分成標記的方式上有所不同。

的StandardTokenizer執行此基於以下（從lucene的Javadoc中取出）：在標點符號

• 拆分話，除去標點符號。 但是，沒有被空白後面的點被認爲是令牌的一部分 。
• 在連字符處拆分單詞，除非 令牌中有一個數字，在這種情況下，整個令牌被解釋爲產品號碼 並且未被拆分。
• 將電子郵件地址和互聯網 識別爲一個令牌。

的WhitespaceTokenizer做此基礎上的空白字符：

一個WhitespaceTokenizer是，在空白劃分文本標記生成器。相鄰的非空白字符序列形成令牌。

您應該選擇最適合您的應用程序的標記器。在任何情況下，您都必須使用相同的分析器/標記器進行索引和搜索！