Et token i computerprogrammering er en sekvens af tegn, der genkendes af compileren eller fortolkeren som en enkelt logisk enhed. Tokens bruges til at repræsentere nøgleord, identifikatorer, operatorer og andre leksikalske elementer i et programmeringssprog.

For eksempel i programmeringssproget C er følgende alle tokens:

* "int" (søgeord)

* "hoved" (identifikator)

* `=` (operatør)

* `;` (terminator)

Tokens identificeres typisk af en leksikalsk analysator, som er den første fase af en compiler eller fortolker. Den leksikalske analysator læser kildekoden og deler den op i en række tokens. Tokens sendes derefter til parseren, som bruger dem til at bygge et parse-træ af programmet.

Processen med tokenisering er afgørende for den korrekte parsing og udførelse af et program. Hvis den leksikale analysator ikke identificerer tokens korrekt, kan compileren eller fortolkeren generere forkerte eller uventede resultater.

Her er nogle yderligere eksempler på tokens på forskellige programmeringssprog:

* JavaScript:`var`, `function`, `+`, `-`, `()`, `{}`

* Python:`def`, `class`, `if`, `else`, `for`, `in`

* Java:`public`, `static`, `void`, `int`, `String`, `.`

Tokens er en grundlæggende del af computerprogrammering og spiller en vigtig rolle i kompileringen og udførelsen af ​​programmer.