Token
term_id: token
Category: basic_concepts
Definition
Tokens er de grunnleggende byggesteinene for inndata i NLP (Natural Language Processing), og representerer vanligvis ord, delord eller tegn. Store språkmodeller (LLM) behandler tekst ved å konvertere den til tokens, som deretter brukes til beregninger.
Summary
Et token er en diskret enhet av tekst eller data som fungerer som grunnleggende inngangselement for modeller innen naturlig språkbehandling.
Key Concepts
- Diskret enhet
- Ordbok (Vocabulary)
- Innbinding (Embedding)
- Kontekstvindu
Use Cases
- Tekstgenerering i store språkmodeller (LLM)
- Forhåndsbehandling for maskinoversetting
- Inndataformatering for stemningsanalyse