Token (Birim)
term_id: token
Category: basic_concepts
Definition
Tokenlar, doğal dil işlemde (NLP) girdi verilerinin temel yapı taşlarıdır ve genellikle kelimeleri, alt-kelime birimlerini veya karakterleri temsil eder. Büyük Dil Modelleri (LLM’ler), metni tokenlara dönüştürerek işler.
Summary
Token, doğal dil işleme modelleri için temel girdi öğesi olarak hizmet eden metin veya verinin ayrık bir birimidir.
Key Concepts
- Ayrık Birim
- Sözlük
- Gömme (Embedding)
- Bağlam Penceresi
Use Cases
- LLM’lerde metin üretimi
- Makine çevirisi ön işleme
- Duygu analizi girdi formatlama