Dlouhé kontexty
term_id: long_context
Category: basic_concepts
Definition
Dlouhé kontexty označují kapacitu modelů založených na architektuře transformátoru zvládat rozsáhlé délky vstupů, často přesahující standardní limity jako 2 000 nebo 4 000 tokenů. Tato schopnost umožňuje modelům analyzovat celé dokumenty, dlouhé konverzace nebo rozsáhlé kódové báze, aniž by docházelo ke ztrátě důležitého kontextu na začátku nebo konci sekvence, což je klíčové pro úlohy vyžadující globální porozumění textu.
Summary
Schopnost jazykového modelu zpracovávat a udržovat si informace z vstupních sekvencí obsahujících tisíce až miliony tokenů.
Key Concepts
- Kontextové okno
- Limit tokenů
- Mechanismus pozornosti (Attention)
- Poziciální kódování
Use Cases
- Shrnování celých právních smluv
- Analýza kompletních repozitářů zdrojového kódu
- Zpracování dlouhých transkriptů zvuku