Réglage par préfixe
term_id: prefix_tuning
Category: training_techniques
Definition
Le réglage par préfixe est une technique d’adaptation économe en paramètres pour les transformeurs pré-entraînés. Au lieu de mettre à jour tous les poids du modèle, il préfixe une séquence de vecteurs continus entraînables (le préfixe) aux entrées des couches cachées, permettant ainsi une adaptation efficace sans réentraînement complet.
Summary
Une méthode de réglage fin économe en paramètres qui ajoute des vecteurs continus entraînables à l’entrée des couches de transformeur.
Key Concepts
- Réglage économe en paramètres
- Invitations souples (soft prompts)
- Couches de transformeur
- Noyau gelé
Use Cases
- Adaptation en apprentissage peu échantillonné (few-shot)
- Apprentissage multi-tâches avec ressources limitées
- Personnalisation des LLM pour des domaines de niche