Hosszú kontextus
term_id: long_context
Category: basic_concepts
Definition
A hosszú kontextus a transzformer alapú modellek azon kapacitására utal, hogy kiterjedt bemeneti hosszúságokat kezeljenek, gyakran meghaladva a szabványos korlátokat, mint például a 2k vagy 4k token. Ez a képesség lehetővé teszi a modellek számára, hogy elemezzék az egész
Summary
A nyelvi modell azon képessége, hogy több ezer vagy millió tokenből álló bemeneti szekvenciák információit feldolgozza és megtartsa.
Key Concepts
- Kontextus ablak
- Token korlát
- Figyelem mechanizmus
- Pozíciós kódolás
Use Cases
- Teljes jogi szerződések összefoglalása
- Komplett forráskód-tárolók elemzése
- Hosszú formátumú hangfelvételek átiratainak feldolgozása