Fereastră de context
term_id: context_window
Category: engineering_practice
Definition
Fereastra de context definește limita operațională a memoriei unui model AI pentru o singură interacțiune. Aceasta determină cât din istoricul conversației anterioare, textul documentului sau datele de intrare poate fi luat în considerare de model pentru a genera răspunsuri coerente.
Summary
Cantitatea maximă de text sau tokeni pe care un model lingvistic o poate procesa și lua în considerare simultan în timpul inferenței sau antrenamentului.
Key Concepts
- Limita de tokeni
- Mecanismul de atenție
- Restricții de memorie
- Lungimea intrării
Use Cases
- Rezumarea documentelor lungi
- Menținerea istoricului conversației în roboții chat
- Analiza bazelor de cod mari