它如何爲每個詞位產生多個標記？

Question

我剛開始閱讀龍書，我發現很難理解一些陳述。

它說：「詞法分析器爲源程序中的每個詞位生成一系列令牌」。你能幫我理解上面的路線嗎？我知道令牌和詞位，但是爲每個詞位生成多個標記意味着什麼...... AFAIK LEXEME本身就會影響單個標記。

完整引用如下：

「作爲編譯器的第一階段中，詞法分析器的主要任務是讀出的源程序的輸入字符，將它們組成詞位，併產生作爲源程序中每個詞位的一系列令牌輸出。「

以上報價是從下頁號的標題「詞法分析器的作用」一章3..section 3.1是109

Answer 1

你是正確的。令牌通常與詞位一一對應。嘗試將該句子重新解析爲「...」，並在源程序中爲詞位生成一個令牌的序列。正如我讀過的那樣，這就是作者想表達的意思。