Prefix Tuning
term_id: prefix_tuning
Category: training_techniques
Definition
Prefix Tuning is een parameter-efficiënte adaptatietechniek voor voorgebouwde transformers. In plaats van alle modelgewichten bij te werken, worden er aan het begin van elke transformerlaag een reeks trainbare continue vectoren (het prefix) geplaatst. Dit stelt het model in staat zich aan te passen aan nieuwe taken met zeer weinig bijkomende parameters, terwijl de oorspronkelijke kennis van het voorgebouwde model behouden blijft.
Summary
Een parameter-efficiënte fine-tuningmethode die trainbare continue vectoren toevoegt aan de invoer van transformerlagen.
Key Concepts
- Parameter-efficiënt tuning
- Zachte prompts
- Transformerlagen
- Bevroren ruggengraat
Use Cases
- Few-shot learning adaptatie
- Multitask leren met beperkte middelen
- Op maat maken van LLM’s voor niche-domeinen