Token
term_id: token
Category: basic_concepts
Definition
A tokenek a természetes nyelvfeldolgozás (NLP) bemeneti adatainak alapvető építőkövei, amelyek általában szavakat, részszavakat vagy karaktereket képviselnek. A Nagy Nyelvi Modellek (LLM-ek) a szöveget tokenekké alakítják feldolgozás előtt, így a modell számokkal dolgozó vektortérben értelmezheti a nyelvi egységeket.
Summary
A token egy diszkrét szöveg- vagy adategység, amely a természetes nyelvfeldolgozási modellek alapvető bemeneti eleme.
Key Concepts
- Diszkrét egység
- Szókincs
- Beágyazás (Embedding)
- Kontextusablak
Use Cases
- Szöveggenerálás nagy nyelvi modellekben
- Gépi fordítás előfeldolgozása
- Hangulatértékelés bemeneti formázása