Prefix-tuning
term_id: prefix_tuning
Category: training_techniques
Definition
Prefix-tuning är en parameter-effektiv anpassningsteknik för förtränade transformatorer. Istället för att uppdatera alla modellviktningar, förbereds en sekvens av träningsbara kontinuerliga vektorer (prefixet) till de dolda tillstånden i varje transformatorlager. Detta gör det möjligt att anpassa modellen till nya uppgifter med mycket få uppdaterbara parametrar.
Summary
En parameter-effektiv finjusteringsmetod som lägger till träningsbara kontinuerliga vektorer till ingången av transformatorlager.
Key Concepts
- Parameter-effektiv justering
- Mjuka prompts
- Transformatorlager
- Frysta ryggradsnät
Use Cases
- Anpassning för few-shot-inlärning
- Multitask-inlärning med begränsade resurser
- Anpassning av stora språkmodeller för nischade domäner