解析器令牌像其他語言中的PHP那樣？

Question

短版：

是否有其他的解釋型語言（Python和Ruby等）和編譯語言（C家，Java等）類似PHP parser tokens的東西嗎？

長的版本：

在the CPP Rocks website有an article showing a visual comparison of language complexity通過，打破了語言的各個組成部分進行分類圖的手段。對於CoffeeScript中的圖形看起來是這樣的：

我想用the parser tokens爲出發點，以使對PHP這樣的圖（以確保我不會錯過任何東西，因爲我懶）。我想知道在其他解釋語言（Python，Ruby等）和編譯語言（C族，Java等）中是否存在類似這些令牌的東西。

發現迄今：

• 的Java：在描述Syntax和Lexical Structure的語言規範的章節看似良好的開端。
• Python：手冊的第2章確實描述了Python's lexical structure。
• 紅寶石：the token list for Ruby。

Answer 1

所有解析器都將輸入轉換爲令牌。語言可能會或可能不會顯示這些標記，當然，標記的實際含義和名稱會有所不同，當然，由於不同的語言具有不同的語法，一組保留字和其他構造，每種語言都會稍微不同的令牌集。

這裏的令牌只是「語言規範中實際符號的命名錶示」。因此，例如，解析器將看到單詞break作爲輸入，並將其放入令牌T_BREAK。

對於您正在查看的圖表類型，您需要知道不同的語言結構是什麼，然後對其進行分類，然後以圖形方式顯示 - 我不確定查看令牌列表是實現該目標的最佳方法。

Answer 2

有沒有這樣的東西作爲一種語言的標記列表。令牌是解析器的屬性（更確切地說，它們是詞法分析器和解析器之間的接口的屬性），而不是語言。解析相同語言的不同解析器可能會使用完全不同的一組令牌。許多現代語法分析器都是無詞法的，這意味着它們根本不具有令牌，所有。例如，在Ruby中，Rubinius使用的解析器使用與RedParse/RubyLexer（由各種項目使用）完全不同的一組令牌，這些令牌再次使用了與ANTLR相比非常不同的一組令牌， XRuby和Sapphire在Steel中使用了基於瀏覽器的解析器。