Context lung
term_id: long_context
Category: basic_concepts
Definition
Contextul lung se referă la capacitatea modelelor bazate pe transformere de a gestiona lungimi de intrare extinse, adesea depășind limitele standard de 2k sau 4k tokeni. Această capacitate permite modelelor să analizeze documente întregi, cod sursă complet sau conversații lungi, menținând coerența și relevanța răspunsurilor pe parcursul întregului context.
Summary
Capacitatea unui model lingvistic de a procesa și reține informații din secvențe de intrare care conțin mii sau milioane de tokeni.
Key Concepts
- Fereastra de context
- Limita de tokeni
- Mecanismul de atenție
- Codificare pozițională
Use Cases
- Rezumarea contractelor juridice complete
- Analiza repository-urilor întregi de cod sursă
- Procesarea transcrierilor audio de lungă durată