Prompt-tuning
term_id: prompt_tuning
Category: training_techniques
Definition
Prompt-tuning indebærer tilføjelsen af trænbare ‘bløde prompts’ (kontinuerlige vektorer) til inputlaget af en fortrænelt sprogmodel, mens de underliggende modelparametre holdes frosne. Denne tilgang gør det muligt at tilpasse modellen uden at genberegne alle parametre.
Summary
En metode til finjustering med effektiv parameterbrug, der optimerer kontinuerlige input-embeddings frem for at opdatere hele modellens vægte.
Key Concepts
- bløde prompts
- effektiv parameterbrug
- frosne vægte
- few-shot learning (læring med få eksempler)
Use Cases
- Tilpasning af store sprogmodeller (LLM’er) til specifikke domæner
- Finjustering med lav ressourceforbrug
- Optimering af multi-task læring