如何將Lucene WikipediaTokenizer用於非英語語言？

Question

我是一個解析荷蘭維基百科和它包含以下類別標記：

[Categorie:Nederlands beeldhouwer]] 

但是在英文維基百科使用下面的標記：

[[Category:Japanese diplomats]] 

的標記（Categorie /類別）因此語言依賴。非英語維基可以使用Lucene WikipediaTokenizer嗎？如果可能的話，如何？

Answer 1

我認爲維基百科的標記是依賴於語言的，API結果也會因語言不同而不同。

按http://www.mediawiki.org/wiki/API我做了快速實驗相同的查詢，並得到了不同的結果http://en.wikipedia.org/w/api.php和http://nl.wikipedia.org/w/api.php

LuceneWikipediaTokenizer是擴展StandardTokenizer的因此它應該支持和索引的所有語言。