如何使用默認令牌拆分保留「不是」完整的單詞？

Question

在C++中使用斯坦福大學的TokenScanner類，如何保留「不是」完整的單詞，因爲默認的令牌將它分成isn,',t。

string word = "This isn't me"; 
TokenScanner scanner(word); 
scanner.ignoreWhitespace(); 
while(true){ 
    if(!scanner.hasMoreTokens()) break; 
    string token = scanner.nextToken(); 
    cout << token <<endl; 
}  

該電流代碼，顯示：

「這」 \ n 「個ISN」 \ n 「個\'」 \ n 「T」 \ n 「個我」 \ n

作爲從令牌獲得的單詞。

Answer 1

使用scanner.addWordCharacters"'"將單引號添加到單詞中接受的字符列表中。