Token
term_id: token
Category: basic_concepts
Definition
Tokenurile sunt blocurile fundamentale de construcție ale datelor de intrare în PNL (NLP), reprezentând de obicei cuvinte, subcuvinte sau caractere. Modelele Mari de Limbaj (LLM) prelucrează textul convertindu-l în tokenuri, care ar
Summary
Un token este o unitate discretă de text sau date care servește ca element de bază de intrare pentru modelele de procesare a limbajului natural.
Key Concepts
- Unitate Discretă
- Vocabular
- Încapsulare (Embedding)
- Fereastra de Context
Use Cases
- Generarea de text în LLM-uri
- Preprocesarea traducerii automate
- Formatarea intrării pentru analiza sentimentelor