Prompt-tuning
term_id: prompt_tuning
Category: training_techniques
Definition
Prompt-tuning innebär att tränbara mjuka prompts (kontinuerliga vektorer) läggs till i inmatningslagret av en förtränad språkmodell, medan de underliggande modellparametrarna hålls frysta. Denna metod gör det möjligt att anpassa modeller till specifika uppgifter med minimal beräkningskostnad.
Summary
En metod för finjustering som är effektiv med avseende på parametrar, där kontinuerliga inbäddningar optimeras istället för att hela modellens vikter uppdateras.
Key Concepts
- mjuka prompts
- effektivitetsoptimering av parametrar
- frysta vikter
- few-shot learning
Use Cases
- Anpassning av stora språkmodeller (LLM) för specifika domäner
- Finjustering vid resursbegränsningar
- Optimering av multitask-inlärning