Token
term_id: token
Category: basic_concepts
Definition
Tokeny jsou základními stavebními kameny vstupních dat v NLP, typicky reprezentující slova, podslova nebo znaky. Velké jazykové modely (LLM) zpracovávají text převodem na tokeny, které jsou
Summary
Token je diskrétní jednotka textu nebo dat, která slouží jako základní vstupní prvek pro modely zpracování přirozeného jazyka.
Key Concepts
- Diskrétní jednotka
- Slovní zásoba
- Vnoření (Embedding)
- Okno kontextu
Use Cases
- Generování textu ve velkých jazykových modelech
- Předzpracování pro strojový překlad
- Formátování vstupu pro analýzu sentimentu