Prefix Tuning
term_id: prefix_tuning
Category: training_techniques
Definition
Prefix Tuning je technika adaptace s nízkou spotřebou parametrů pro předtrénované transformátory. Místo aktualizace všech vah modelu se před vstup do každé vrstvy transformátoru přidává posloupnost trainovatelných spojitých vektorů (prefix). To umožňuje přizpůsobit model novým úkolům bez nutnosti přetrénovat celý model.
Summary
Metoda efektivního doladění parametrů, která přidatelné spojité vektory na vstup vrstev transformátoru.
Key Concepts
- Efektivní ladění parametrů
- Měkké podněty (Soft prompts)
- Vrstvy transformátoru
- Zmrazená kostra (Frozen backbone)
Use Cases
- Adaptace pro učení s malým množstvím dat
- Vícenásobné učení s omezenými zdroji
- Přizpůsobování LLM pro specializované domény