Um ou também chamado componente léxico é uma cadeia de caracteres que tem um significado coerente em verdadeira linguagem de programação. Exemplos de tókenes poderiam ser palavras-chave, identificadores, números, sinail, ou um operador de vários caracteres.