Token
term_id: token
Category: basic_concepts
Definition
I token sono i mattoni fondamentali dei dati di input nell’elaborazione del linguaggio naturale (NLP), rappresentando tipicamente parole, sotto-parole o caratteri. I Modelli Linguistici di Grandi Dimensioni (LLM) elaborano il testo convertendolo in token, che vengono poi trasformati in rappresentazioni vettoriali (embeddings) per l’analisi computazionale.
Summary
Un token è un’unità discreta di testo o dati che funge da elemento di input di base per i modelli di elaborazione del linguaggio naturale.
Key Concepts
- Unità Discreta
- Vocabolario
- Embedding
- Finestra di Contesto
Use Cases
- Generazione di testo negli LLM
- Pre-elaborazione per la traduzione automatica
- Formattazione dell’input per l’analisi del sentiment