標記和文件流

Question

我研究了對文件流進行操作的程序源代碼（用C++編寫）。但偶爾偶爾偶然發現tokens。你能向我解釋一下什麼是令牌，爲什麼它們有用？謝謝。

Answer 1

流指的是隨時間變化可用的數據元素序列。流中的數據元素可以是任何類型的：字符，字符串，專用數據結構等。文本文件可以被簡單地解釋爲字符流。

在程序設計語言的背景下，這個詞通常是指一串字符中的一個或多個相關字符序列。令牌在字符流之上提供了一種抽象級別，並且通常將它們自己分組在流中用於進一步處理。

在編程語言的編譯器的通常的處理序列開始與詞法分析器轉換字符流轉換爲標記的流，然後將其傳遞到解析器。令牌的典型表示由一個類型指示符和令牌的內容組成。

下面是一個例子：考慮C++程序的該片段：

class MyClass { 
public: 
    string name; 
}; 

甲詞法分析器基本程序分成十個令牌流：

'class' (keyword) 
'MyClass' (identifier) 
'{' (opening brace) 
'public' (keyword) 
':' (colon) 
'string' (identifier) 
'name' (identifier) 
';' (semicolon) 
'}' (closing brace) 
';' (semicolon) 

Answer 2

令牌可以被認爲是「佔位符」。令牌表示特定的實體（字符串），並且通常是兩個等價物之間的某種中介步驟。例如，令牌通常用在表示給定語言語法的解析器中。