詞法分析器來處理與行號前綴線

Question

我寫的，看起來像下面這樣的語言解析器：

L00<<identifier>> 
L10<<keyword>> 
L250<<identifier>> 
<<identifier>> 

也就是說，每行可能會或可能不會與形式的行號開始Lxxx..（'L'後跟一個或多個數字），後跟一個標識符或關鍵字。標識符是標準的[a-zA-Z_][a-zA-Z0-9_]*，並且L後面的位數不固定。行號和後面的標識符/關鍵字之間的空格是可選的（大多數情況下不存在）。

我現在的詞法分析器的樣子：

// Parser rules 
commands  : command*; 
command  : LINE_NUM? keyword NEWLINE 
       | LINE_NUM? IDENTIFIER NEWLINE; 
keyword  : KEYWORD_A | KEYWORD_B | ... ; 

// Lexer rules 
fragment INT : [0-9]+; 
LINE_NUM  : 'L' INT; 
KEYWORD_A  : 'someKeyword'; 
KEYWORD_B  : 'reservedWord'; 
... 
IDENTIFIER : [a-zA-Z_][a-zA-Z0-9_]* 

但是這導致了LINE_NUM令牌被符號化的IDENTIFIER S開頭的所有行。

有沒有辦法使用ANTLR語法正確標記這個輸入？

Answer 1

你需要一個語義謂詞添加到IDENTIFIER：

IDENTIFIER 
    : {_input.getCharPositionInLine() != 0 
     || _input.LA(1) != 'L' 
     || !Character.isDigit(_input.LA(2))}? 
    [a-zA-Z_] [a-zA-Z0-9_]* 
    ; 

您也可避免語義斷言使用詞法模式。

// 
// Default mode is active at the beginning of a line 
// 

LINE_NUM 
    : 'L' [0-9]+ -> pushMode(NotBeginningOfLine) 
    ; 

KEYWORD_A : 'someKeyword' -> pushMode(NotBeginningOfLine); 
KEYWORD_B : 'reservedWord' -> pushMode(NotBeginningOfLine); 
IDENTIFIER 
    : ('L' 
    | 'L' [a-zA-Z_] [a-zA-Z0-9_]* 
    | [a-zA-KM-Z_] [a-zA-Z0-9_]* 
    ) 
    -> pushMode(NotBeginningOfLine) 
    ; 
NL : ('\r' '\n'? | '\n'); 

mode NotBeginningOfLine; 

    NotBeginningOfLine_NL : ('\r' '\n'? | '\n') -> type(NL), popMode; 
    NotBeginningOfLine_KEYWORD_A : KEYWORD_A -> type(KEYWORD_A); 
    NotBeginningOfLine_KEYWORD_B : KEYWORD_B -> type(KEYWORD_B); 
    NotBeginningOfLine_IDENTIFIER 
    : [a-zA-Z_] [a-zA-Z0-9_]* -> type(IDENTIFIER) 
    ;