Długi kontekst
term_id: long_context
Category: basic_concepts
Definition
Długi kontekst odnosi się do zdolności modeli opartych na architekturze transformera do obsługi bardzo długich sekwencji wejściowych, często przekraczających standardowe limity takie jak 2k czy 4k tokenów. Ta zdolność pozwala modelom analizować całe dokumenty, długie kody źródłowe lub pełne transkrypcje, zachując spójność i kontekst na całej długości tekstu.
Summary
Zdolność modelu językowego do przetwarzania i utrzymywania informacji z sekwencji wejściowych zawierających tysiące lub miliony tokenów.
Key Concepts
- Okno kontekstowe
- Limit tokenów
- Mechanizm uwagi
- Kodowanie pozycyjne
Use Cases
- Podsumowywanie pełnych umów prawnych
- Analiza kompletnych repozytoriów kodu źródłowego
- Przetwarzanie długich transkrypcji audio