符號化複雜的輸入

Question

我試圖來標記在Python以下輸入：

text = 'This @example@ is "neither":/defn/neither complete[1] *nor* trite, *though _simple_*.' 

我想產生類似下面的同時避免使用正則表達式：

tokens = [ 
     ('text', 'This '), 
     ('enter', 'code'), 
      ('text', "example") 
     ('exit', None), 
     ('text', ' is '), 
     ('enter', 'a'), 
      ('text', "neither"), 
      ('href', "/defn/neither"), 
     ('exit', None), 
     ('text', ' complete'), 
     ('enter', 'footnote'), 
      ('id', 1), 
     ('exit', None), 
     ('text', ' '), 
     ('enter', 'strong'), 
      ('text', 'nor'), 
     ('exit', None), 
     ('text', ' trite, '), 
     ('enter', 'strong'), 
       ('text', 'though '), 
       ('enter', 'em'), 
        ('text', 'simple'), 
       ('exit', None), 
     ('exit', None), 
     ('text', '.') 
    ] 

假裝以上是由發電機產生的。我的current implementation的作品，雖然代碼有點可怕，不容易擴展到支持鏈接。

任何援助將不勝感激。

已更新，將所需的語法從複雜的嵌套列表結構更改爲簡單的元組流。對我們人類的縮進。在鏈接文本中格式化是可以的。這裏是a simple parser，它生成我正在尋找的lexing結果，但仍然不處理鏈接或腳註。

Answer 1

那麼，here's a more complete parser具有足夠的可擴展性來做我將來可能需要的任何東西。它只花了三個小時。這不是非常快，但通常我寫的解析器類的輸出總是被高速緩存。即使使用這個標記器和解析器，我的完整引擎仍然會以默認python-textile渲染器的75％的SLoC時鐘速度運行，同時保持稍微更快的速度。沒有正則表達式。

腳註解析仍然存在，但與鏈接解析相比，這是微不足道的。輸出（截至本貼子）爲：

tokens = [ 
    ('text', 'This '), 
    ('enter', 'code'), 
     ('text', 'example'), 
    ('exit', None), 
    ('text', ' is '), 
    ('enter', 'a'), 
     ('text', 'neither'), 
     ('attr', ('href', '/defn/neither')), 
    ('exit', None), 
    ('text', ' complete[1] '), 
    ('enter', 'strong'), 
     ('text', 'nor'), 
    ('exit', None), 
    ('text', ' trite, '), 
    ('enter', 'strong'), 
     ('text', 'though '), 
     ('enter', 'em'), 
      ('text', 'simple'), 
     ('exit', None), 
    ('exit', None), 
    ('text', '.') 
]