Pitkä konteksti
term_id: long_context
Category: basic_concepts
Definition
Pitkä konteksti viittaa muuntajapohjaisten mallien kapasiteettiin käsitellä laajoja syötepituksia, jotka ylittävät usein standardirajat, kuten 2k tai 4k tokenia. Tämä kyky mahdollistaa mallien analysoida koko dokumentteja, pitkiä keskusteluja tai laajoja koodipohjia yhtenäisenä kokonaisuutena säilyttäen samalla kontekstin merkityksen pitkissä sekvensseissä.
Summary
Kielen mallin kyky käsitellä ja säilyttää tietoa syötteistä, jotka sisältävät tuhansia tai miljoonia tokeneita.
Key Concepts
- Kontekstiikkuna
- Tokeniraja
- Huomio mekanisme (Attention mechanism)
- Paikannuskoodaus
Use Cases
- Koko oikeudellisten sopimusten tiivistäminen
- Koko lähdekoodivarastojen analysointi
- Pitkien äänitallenteiden transkriptioiden käsittely