Токен
Матеріал з Вікіпедії — вільної енциклопедії.
токен - об'єкт, що утворюється із лексеми в процесі лексичного аналізу. В прикладному програмуванні поняття токену та його лексема можуть не розрізняти.
Шаблон токена — формальний опис класу лексем, які можуть утворити даний тип токена.
| тип токена | приклади лексем | опис |
|---|---|---|
| string | "Мова \"C\"" | рядкова стала |
| id | Name01 | ідентифікатор |
| relop | >= | операції відношення |
| num | 13 | число |
 |
Це незавершена стаття про комп'ютери. Ви можете допомогти проекту, виправивши або дописавши її. |
