Limita de tokeni
term_id: token_limit
Category: engineering_practice
Definition
Limita de tokeni definește constrângerea dimensiunii ferestrei de context pentru modelele lingvistice mari, restricționând cantitatea de text care poate fi analizată sau generată simultan. Această limită arhitecturală influențează gestionarea memoriei,
Summary
Numărul maxim de tokeni pe care un model de inteligență artificială le poate procesa într-o singură secvență de intrare sau ieșire.
Key Concepts
- Fereastră de context
- Trunchiere
- Inginerie de prompturi
- Gestionarea memoriei
Use Cases
- Proiectarea sistemelor RAG
- Optimizarea lungimii prompturilor
- Procesarea documentelor lungi