停止在java中

Question

我想制止的話我相似的程序，然後一個詞幹的單詞和詞幹（去爲搬運工1或2取決於什麼最容易實現的）

我在想，既然我從文件中讀取我的文本作爲整行，並將它們保存爲一個長字符串，所以如果我有兩個字符串前。

String one = "I decided buy something from the shop."; 
String two = "Nevertheless I decidedly bought something from a shop."; 

現在，我得到了這些字符串

詞幹： 我可以只直接使用詞幹algoritmen它，將它保存爲一個字符串，然後繼續在相似的工作就像我實現詞幹以前那樣在程序中，像運行one.stem（）;之類的事情？

停止詞： 這是如何工作的？ O.o 我只是使用; one.replaceall（「I」，「」）;還是有一些具體的方法來使用這個過程？我想繼續使用字符串並在使用相似性算法獲取相似性之前先獲得一個字符串。維基並沒有說太多。

希望你能幫助我！謝謝。

編輯：這是一個學校相關的項目，我正在撰寫關於不同算法之間相似性的論文，所以我不認爲我被允許使用lucene或其他庫來爲我做這項工作。另外我想在嘗試使用Lucene和co之類的庫之前瞭解它是如何工作的。希望這不是一個太大的麻煩^^

Answer 1

是的，你可以用任何詞幹，讓您可以編寫類似

String stemmedString = stemmer.stemAndRemoveStopwords(inputString, stopWordList); 

內部，你stemAndRemoveStopwords會

• 發生在所有禁用詞用於快速參考的映射
• 初始化一個空的StringBuilder以固定輸出字符串
• 迭代輸入字符串中的所有單詞， d爲每個詞
  • 在stopWordList中搜索它;如果發現，繼續循環的頂部
  • 否則，用你喜歡的詞幹幹它，並把它添加到到輸出字符串
• 返回輸出字符串

Answer 2

如果你不打算使用由於學術原因，您應該考慮使用Lucene庫。在任何一種情況下，它都可能有益於參考。它具有標記化，停用詞過濾，詞幹和相似性的類。這裏有一個使用Lucene 3的簡單例子。0去除停止詞和幹輸入字符串：

public static String removeStopWordsAndStem(String input) throws IOException { 
    Set<String> stopWords = new HashSet<String>(); 
    stopWords.add("a"); 
    stopWords.add("I"); 
    stopWords.add("the"); 

    TokenStream tokenStream = new StandardTokenizer(
      Version.LUCENE_30, new StringReader(input)); 
    tokenStream = new StopFilter(true, tokenStream, stopWords); 
    tokenStream = new PorterStemFilter(tokenStream); 

    StringBuilder sb = new StringBuilder(); 
    TermAttribute termAttr = tokenStream.getAttribute(TermAttribute.class); 
    while (tokenStream.incrementToken()) { 
     if (sb.length() > 0) { 
      sb.append(" "); 
     } 
     sb.append(termAttr.term()); 
    } 
    return sb.toString(); 
} 

如果哪個在你的字符串中使用這樣的：

public static void main(String[] args) throws IOException { 
    String one = "I decided buy something from the shop."; 
    String two = "Nevertheless I decidedly bought something from a shop."; 
    System.out.println(removeStopWordsAndStem(one)); 
    System.out.println(removeStopWordsAndStem(two)); 
} 

此息率輸出：

decid bui someth from shop 
Nevertheless decidedli bought someth from shop 

Answer 3

你不必處理全文。只需把它分解，應用您停用詞過濾器和所產生的算法，然後生成字符串再次使用StringBuilder：

StrinBuilder builder = new StringBuilder(text.length()); 
String[] words = text.split("\\s+"); 
for (String word : words) { 
    if (stopwordFilter.check(word)) { // Apply stopword filter. 
     word = stemmer.stem(word); // Apply stemming algorithm. 
     builder.append(word); 
    } 
} 
text = builder.toString();