Token
term_id: token
Category: basic_concepts
Definition
Token adalah blok bangunan fundamental dari data input dalam Pemrosesan Bahasa Alami (NLP), biasanya mewakili kata, subkata, atau karakter. Model Bahasa Besar (LLM) memproses teks dengan mengonversinya menjadi token, yang kemudian diubah menjadi representasi numerik (embedding) agar dapat dipelajari oleh model.
Summary
Token adalah unit diskrit dari teks atau data yang berfungsi sebagai elemen input dasar untuk model pemrosesan bahasa alami.
Key Concepts
- Unit Diskrit
- Kosakata
- Embedding
- Jendela Konteks
Use Cases
- Generasi teks dalam LLM
- Pra-pemrosesan terjemahan mesin
- Format input analisis sentimen