Prefix-tuning
term_id: prefix_tuning
Category: training_techniques
Definition
Prefix-tuning er en parameter-effektiv tilpasningsteknik til for-trænede transformere. I stedet for at opdatere alle modelvægte, tilføjes en sekvens af trainable kontinuerlige vektorer (prefixet) til inputtet af hvert transformer-lag, hvilket tillader effektiv tilpasning med få opdaterbare parametre.
Summary
En parameter-effektiv finjusteringsmetode, der tilføjer trainable kontinuerlige vektorer til inputtet af transformer-lag.
Key Concepts
- Parameter-effektiv tuning
- Bløde prompts (soft prompts)
- Transformer-lag
- Frosset rygrad (frozen backbone)
Use Cases
- Tilpasning til few-shot læring
- Multitask-læring med begrænsede ressourcer
- Tilpasning af store sprogmodeller til nischede domæner