Token
term_id: token
Category: basic_concepts
Definition
Tokens är de grundläggande byggstenarna för inmatningsdata inom NLP, och representerar vanligtvis ord, delord eller tecken. Stora språkmodeller (LLM) bearbetar text genom att konvertera den till tokens, vilka sedan mappas till vektorer för vidare analys och generering.
Summary
En token är en diskret enhet av text eller data som fungerar som grundläggande inmatningselement för modeller inom naturlig språkbehandling.
Key Concepts
- Diskret enhet
- Ordlista
- Inbäddning
- Kontextfönster
Use Cases
- Textgenerering i stora språkmodeller
- Förbehandling för maskinöversättning
- Formatering av indata för sentimentanalys