Okno kontekstowe
term_id: context_window
Category: engineering_practice
Definition
Okno kontekstowe definiuje operacyjny limit pamięci modelu AI dla pojedynczej interakcji. Określa ono, ile historii wcześniejszej rozmowy, treści dokumentu lub danych wejściowych model jest w stanie uwzględnić przy generowaniu odpowiedzi.
Summary
Maksymalna ilość tekstu lub tokenów, którą model językowy może przetworzyć i uwzględnić jednocześnie podczas wnioskowania lub trenowania.
Key Concepts
- Limit tokenów
- Mechanizm uwagi
- Ograniczenia pamięci
- Długość wejścia
Use Cases
- Podsumowywanie długich dokumentów
- Utrzymywanie historii rozmowy w czatbotach
- Analiza dużych baz kodu