使用Parsec進行字符串標記的詞法分析

Question

我有使用Haskell Parsec庫進行字符串分析的此分析器。

myStringLiteral = lexeme (
     do str <- between (char '\'') 
        (char '\'' <?> "end of string") 
        (many stringChar) 
        ; return (U.replace "''" "'" (foldr (maybe id (:)) "" str)) 

     <?> "literal string" 
     ) 

串在我的語言被定義爲''（例如：'this is my string'）內的α-num個字符，但這些字符串也可以包含'它裏面（在這種情況下'，必須由另外'，前逃脫'this is my string with '' inside of it'）。

我需要做的是在字符串解析過程中出現'，並判斷是否有另一個'（如果否，返回字符串的結尾）。但我不知道該怎麼做。有任何想法嗎？謝謝！

Answer 1

如果語法像看起來那麼簡單，你可以做一個特殊的情況下逃脫單引號，

escapeOrStringChar :: Parser Char 
escapeOrStringChar = try (string "''" >> return '\'') <|> stringChar 

和使用，在

myStringLiteral = lexeme $ do 
    char '\'' 
    str <- many escapeOrStringChar 
    char '\'' <?> "end of string" 
    return str 

Answer 2

Parsec只處理LL（1）種語言（details）。這意味着解析器一次只能看一個符號。你的語言是LL（2）。你可以編寫自己的FSM來解析你的語言。或者，您可以在解析之前將文本轉換爲LL（1）。

事實上，Parsec是專爲語法分析而非詞彙。好主意是用其他工具進行詞法分析，而不是使用Parsec來解析詞位序列而不是字符序列。

Answer 3

您可以使用stringLiteral爲。