Antlr3匹配lexeme變體

Question

我試圖匹配英文輸入文本中的測量，使用Antlr 3.2和Java1.6。我有詞法規則如下所示：

fragment 
MILLIMETRE 
    : 'millimetre' | 'millimetres' 
    | 'millimeter' | 'millimeters' 
    | 'mm' 
    ; 

MEASUREMENT 
    : MILLIMETRE | CENTIMETRE | ... ; 

我希望能接受大寫和小寫輸入的任意組合 - 更重要的是 - 只返回一個單一的詞彙令牌的所有變種毫米。但目前，我的AST包含「毫米」，「毫米」，「毫米」等，就像在輸入文本中一樣。

閱讀http://www.antlr.org/wiki/pages/viewpage.action?pageId=1802308後，我想我需要做類似如下：

tokens { 
    T_MILLIMETRE; 
} 

fragment 
MILLIMETRE 
    : ('millimetre' | 'millimetres' 
    | 'millimeter' | 'millimeters' 
    | 'mm') { $type = T_MILLIMETRE; } 
    ; 

然而，當我這樣做，我得到了ANTLR的生成的Java代碼以下編譯器錯誤：

cannot find symbol 
_type = T_MILLIMETRE; 

我嘗試以下代替：

MEASUREMENT 
    : MILLIMETRE { $type = T_MILLIMETRE; } 
    | ... 

但之後MEASUREMENT不再匹配。

與重寫規則更明顯的解決方案：

MEASUREMENT 
    : MILLIMETRE -> ^(T_MILLIMETRE MILLIMETRE) 
    | ... 

導致NPE：

java.lang.NullPointerException at org.antlr.grammar.v2.DefineGrammarItemsWalker.alternative(DefineGrammarItemsWalker.java:1555). 

使測量到解析器規則給了我可怕的「下面的標記定義不能匹配因爲之前的令牌匹配相同的輸入「錯誤。

通過創建一個解析器規則

measurement : T_MILLIMETRE | ... 

我得到警告「對應令牌的詞法規則：T_MILLIMETRE」。雖然Antlr運行，但它仍然給我在AST中的輸入文本，而不是T_MILLIMETRE。

我顯然還沒有像Antlr那樣看世界。任何人都可以給我任何提示或建議嗎？

史蒂夫

Answer 1

這裏有一個辦法做到這一點：

grammar Measurement; 

options { 
    output=AST; 
} 

tokens { 
    ROOT; 
    MM; 
    CM; 
} 

parse 
    : measurement+ EOF -> ^(ROOT measurement+) 
    ; 

measurement 
    : Number MilliMeter -> ^(MM Number) 
    | Number CentiMeter -> ^(CM Number) 
    ; 

Number 
    : '0'..'9'+ 
    ; 

MilliMeter 
    : 'millimetre' 
    | 'millimetres' 
    | 'millimeter' 
    | 'millimeters' 
    | 'mm' 
    ; 

CentiMeter 
    : 'centimetre' 
    | 'centimetres' 
    | 'centimeter' 
    | 'centimeters' 
    | 'cm' 
    ; 

Space 
    : (' ' | '\t' | '\r' | '\n'){$channel=HIDDEN;} 
    ; 

它可以與下面的類測試：

import org.antlr.runtime.*; 
import org.antlr.runtime.tree.*; 
import org.antlr.stringtemplate.*; 

public class Main { 
    public static void main(String[] args) throws Exception { 
     ANTLRStringStream in = new ANTLRStringStream("12 millimeters 3 mm 456 cm"); 
     MeasurementLexer lexer = new MeasurementLexer(in); 
     CommonTokenStream tokens = new CommonTokenStream(lexer); 
     MeasurementParser parser = new MeasurementParser(tokens); 
     MeasurementParser.parse_return returnValue = parser.parse(); 
     CommonTree tree = (CommonTree)returnValue.getTree(); 
     DOTTreeGenerator gen = new DOTTreeGenerator(); 
     StringTemplate st = gen.toDOT(tree); 
     System.out.println(st); 
    } 
} 

產生以下DOT文件：

digraph { 

    ordering=out; 
    ranksep=.4; 
    bgcolor="lightgrey"; node [shape=box, fixedsize=false, fontsize=12, fontname="Helvetica-bold", fontcolor="blue" 
     width=.25, height=.25, color="black", fillcolor="white", style="filled, solid, bold"]; 
    edge [arrowsize=.5, color="black", style="bold"] 

    n0 [label="ROOT"]; 
    n1 [label="MM"]; 
    n1 [label="MM"]; 
    n2 [label="12"]; 
    n3 [label="MM"]; 
    n3 [label="MM"]; 
    n4 [label="3"]; 
    n5 [label="CM"]; 
    n5 [label="CM"]; 
    n6 [label="456"]; 

    n0 -> n1 // "ROOT" -> "MM" 
    n1 -> n2 // "MM" -> "12" 
    n0 -> n3 // "ROOT" -> "MM" 
    n3 -> n4 // "MM" -> "3" 
    n0 -> n5 // "ROOT" -> "CM" 
    n5 -> n6 // "CM" -> "456" 

} 

whic H對應於樹：

（圖片由http://graph.gafol.net/創建）

編輯

注意以下幾點：

measurement 
    : Number m=MilliMeter {System.out.println($m.getType() == MeasurementParser.MilliMeter);} 
    | Number CentiMeter 
    ; 

將始終打印true，無論如果「毫米」的「內容」 ER）令牌mm，millimetre，millimetres，...

Answer 2

注意fragment規則只「活」的詞法分析器內停止在解析器存在。例如：

grammar Measurement; 

options { 
    output=AST; 
} 

parse 
    : (m=MEASUREMENT { 
     String contents = $m.text; 
     boolean isMeasurementType = $m.getType() == MeasurementParser.MEASUREMENT; 
     System.out.println("contents="+contents+", isMeasurementType="+isMeasurementType); 
    })+ EOF 
    ; 

MEASUREMENT 
    : MILLIMETRE 
    ; 

fragment 
MILLIMETRE 
    : 'millimetre' 
    | 'millimetres' 
    | 'millimeter' 
    | 'millimeters' 
    | 'mm' 
    ; 

SPACE 
    : (' ' | '\t' | '\r' | '\n'){$channel=HIDDEN;} 
    ; 

與輸入文本：

"millimeters mm" 

會打印：

contents=millimeters, isMeasurementType=true 
contents=mm, isMeasurementType=true 

換句話說：類型MILLIMETRE不存在，他們都MEASUREMENT類型。