StreamTokenizer unescape字符

Question

我使用Java的StreamTokenizer爲了標記化代碼文本輸入。
當轉義字符出現在字符串中時，標記器忽略它們，而我想保持字符串相同。

例如：

Input: String str = "STRIN\tG"; 

StreamTokenizer Output: STRIN G 
Wanted Output: STRIN\tG 

我的代碼：

BufferedReader reader = new BufferedReader(new FileReader("test.java")); 
StreamTokenizer tokenizer = new StreamTokenizer(reader); 

boolean eof = false; 
do { 
    int type = 0; 
    type = tokenizer.nextToken(); 
    switch (type) { 
     case StreamTokenizer.TT_EOF: 
       eof = true; 
       break; 

      case '"': 
       System.out.println(tokenizer.sval); 
       break; 
    } 
} while (!eof); 

編輯
我選擇與StreamTokenizer工作，因爲評論的良好的操控性去除

Answer 1

的StreamTokenizer constructor JavaDoc狀態：

所有字節值'\ u0000'到'\ u0020'都被認爲是空白。

和\t是\ u000a ...你可以使用whitespaceChars()方法來改變這種行爲。

一個側面說明：如果您選擇println()含\t大多數/所有終端將光標移動到下一個製表符的位置，而不是實際打印\t串...

乾杯，

Answer 2

添加在defaultcase，並根據需要處理字符：

switch (type) { 
     case StreamTokenizer.TT_EOL: 
      System.out.println("End of Line encountered."); 
      break; 
     case StreamTokenizer.TT_WORD: 
      System.out.print(tokenizer.sval); 
      break; 
     case StreamTokenizer.TT_EOF: 
      eof = true; 
      break; 
     case '"': 
      System.out.println(tokenizer.sval); 
      break; 
     default: 
      System.out.print((char) type); 
     }