3
任何人都可以指引我以正確的方向使用LookAhead實現Lucene Tokenizer嗎?Lucene Tokenizer with LookAhead
我使用的是一個雪球詞幹,我希望能夠得到城市名稱的短語並防止它們被阻止,以便將「洛杉磯」設置爲單個標記,而不是兩個標記「洛杉磯」和「洛杉磯」。
我還需要將不與任何城市名稱匹配的標記保存爲一個單詞。
什麼想法?
TIA
任何人都可以指引我以正確的方向使用LookAhead實現Lucene Tokenizer嗎?Lucene Tokenizer with LookAhead
我使用的是一個雪球詞幹,我希望能夠得到城市名稱的短語並防止它們被阻止,以便將「洛杉磯」設置爲單個標記,而不是兩個標記「洛杉磯」和「洛杉磯」。
我還需要將不與任何城市名稱匹配的標記保存爲一個單詞。
什麼想法?
TIA
Here是的東西,我寫了,你想要做什麼依據。
**優秀**我將它移植到Java,它的功能就像一個魅力!謝謝:) – isapir
我是新來的;) – isapir