Token
term_id: token
Category: basic_concepts
Definition
Tokens er de fundamentale byggesten i inputdata inden for NLP (Natural Language Processing) og repræsenterer typisk ord, delord (subwords) eller tegn. Store sprogmodeller (LLM’er) behandler tekst ved at konvertere den til tokens, som derefter kortlægges til vektorer for matematisk behandling.
Summary
Et token er en diskret enhed af tekst eller data, der fungerer som den grundlæggende inputelement for modeller til naturlig sprogbehandling.
Key Concepts
- Diskret enhed
- Ordforråd
- Embedding
- Kontekstvindu
Use Cases
- Tekstgenerering i store sprogmodeller
- Forbehandlingsstadie ved maskinoversættelse
- Input-formattering til følelsesanalyse