Limite di Token
term_id: token_limit
Category: engineering_practice
Definition
Il limite di token definisce il vincolo delle dimensioni della finestra di contesto per i modelli linguistici di grandi dimensioni, restringendo la quantità di testo che può essere analizzata o generata in una sola volta. Questo confine architetturale influisce sulla gestione della memoria,
Summary
Il numero massimo di token che un modello di intelligenza artificiale può elaborare in una singola sequenza di input o output.
Key Concepts
- Finestra di Contesto
- Troncamento
- Ingegnerizzazione del Prompt
- Gestione della Memoria
Use Cases
- Progettazione di sistemi RAG
- Ottimizzazione della lunghezza del prompt
- Gestione dell’elaborazione di documenti lunghi