Etuliitelukitus
term_id: prefix_tuning
Category: training_techniques
Definition
Etuliitelukitus on parametreja säästävä sopeutustekniikka esikoulutetuille transformer-malleille. Sen sijaan, että kaikkia mallin painoarvoja päivitettäisiin, menetelmään lisätään opetettavien jatkuvien vektorien (etuliitteen) sekvenssi mallin syötteeseen tai kerroksiin, mikä mahdollistaa tehokkaan mukauttamisen vähäisellä laskentakustannuksella.
Summary
Parametreja säästävä hienosäätömenetelmä, joka lisää opetettavia jatkuvia vektoreita transformer-kerrosten syötteeseen.
Key Concepts
- Parametreja säästävä säätö
- Pehmeät kehotteet (soft prompts)
- Transformer-kerrokset
- Jäädytetty ydinmalli
Use Cases
- Harvinaisen esimerkin oppimisen sopeutus
- Monitehtäväinen oppiminen rajoitetuilla resursseilla
- LLM:n räätälöinti niemeille aloille