Contesto lungo
term_id: long_context
Category: basic_concepts
Definition
Il contesto lungo si riferisce alla capacità dei modelli basati su transformer di gestire lunghezze di input estese, spesso superando limiti standard come 2k o 4k token. Questa capacità permette ai modelli di analizzare interi
Summary
La capacità di un modello linguistico di elaborare e trattenere informazioni da sequenze di input contenenti migliaia o milioni di token.
Key Concepts
- Finestra di contesto
- Limite di token
- Meccanismo di attenzione
- Codifica posizionale
Use Cases
- Riassunto di contratti legali completi
- Analisi di repository di codice sorgente completi
- Elaborazione di trascrizioni audio di lunga durata