Langer Kontext
term_id: long_context
Category: basic_concepts
Definition
Langer Kontext bezieht sich auf die Kapazität von Transformer-basierten Modellen, umfangreiche Eingabelängen zu verarbeiten, die oft die Standardgrenzen wie 2k oder 4k Token überschreiten. Diese Fähigkeit ermöglicht es Modellen, ganze Dokumente, lange Codebasen oder umfassende Konversationen zu analysieren, ohne frühere Informationen zu verlieren.
Summary
Die Fähigkeit eines Sprachmodells, Informationen aus Eingabesequenzen zu verarbeiten und zu speichern, die Tausende oder Millionen von Token enthalten.
Key Concepts
- Kontextfenster
- Token-Grenze
- Aufmerksamkeitsmechanismus
- Positionsencoding
Use Cases
- Zusammenfassung vollständiger Rechtsverträge
- Analyse kompletter Quellcode-Repositories
- Verarbeitung langer Audio-Transkripte