Prefiks-tuning
term_id: prefix_tuning
Category: training_techniques
Definition
Prefiks-tuning er en parameter-effektiv tilpasningsteknikk for forhåndstrenede transformatorer. I stedet for å oppdatere alle modellvektene, legges det til en sekvens av trenbare kontinuerlige vektorer (prefikset) foran de faste input-embeddings eller tilstandene i hvert transformatorlag. Dette gjør det mulig å tilpasse modellen til nye oppgaver med svært få oppdaterbare parametre.
Summary
En parameter-effektiv finjusteringsmetode som legger til trenbare kontinuerlige vektorer til inngangen til transformatorlag.
Key Concepts
- Parameter-effektiv tuning
- Mjuke prompts
- Transformatorlag
- Frossen ryggmarg (Frozen backbone)
Use Cases
- Tilpasning for few-shot læring
- Fleroppgavelæring med begrensede ressurser
- Tilpassing av store språkmodeller til nisjedomener