使用Sqlite搜索日文字符（UTF-8編碼）FTS

Question

看來，Sqlite FTS不支持根據我的實驗搜索日文字符，並且討論here。在FTS

#select * from tblEvent_shortdes where short_des MATCH 'ＢＳジャパンの見どころ' 
#return nothing 
select * from tblEvent_shortdes where short_des MATCH 'パンの見' 

自定義標記生成器似乎是實現這一目標的方式，但我沒有發現任何日本前途的開源分詞器。 ICU標記器會做什麼？

Answer 1

你可以看看ChaSen和MeCab。自從我使用了幾年以後 - 它看起來好像最近都沒有更新過 - 但在日文標記化方面都證明是足夠的。