Tokeni
term_id: token
Category: basic_concepts
Definition
Tokenit ovat NLP:n syötteen perusrakennuspalikoita, jotka edustavat yleensä sanoja, osasanoja tai merkkejä. Suuret kielimallit (LLM) prosessoivat tekstin muuntamalla sen tokeneiksi, jotka ovat mallin ymmärtämässä muodossa.
Summary
Tokeni on teksti- tai datayksikkö, joka toimii luonnollisen kielentarkastelun (NLP) mallien perus syöteelementtinä.
Key Concepts
- Diskreetti yksikkö
- Sanasto
- Upotus (Embedding)
- Kontekstiikkuna
Use Cases
- Tekstigenerointi suurissa kielimalleissa
- Konekäännöksen esikäsittely
- Tunneanalyysin syötemuotoilu