Prompt-tuning
term_id: prompt_tuning
Category: training_techniques
Definition
Prompt-tuning innebærer å legge til trenbare ‘soft prompts’ (kontinuerlige vektorer) til inngangslaget av en forhåndstrenet språkmodell, mens de underliggende modellparameterene holdes låst. Denne tilnærmingen lar modellen tilpasses spesifikke oppgaver uten å endre den grunnleggende arkitekturen.
Summary
En parameter-effektiv finjusteringsmetode som optimaliserer kontinuerlige input-embeddings i stedet for å oppdatere hele modellvektene.
Key Concepts
- soft prompts (bløde instruksjoner)
- parameter-effektivitet
- låste vekter
- few-shot learning (læring med få eksempler)
Use Cases
- Tilpasning av store språkmodeller (LLMs) til spesifikke domener
- Finjustering med lave ressurser
- Optimalisering av fleroppgavelæring