P-Tuning
term_id: p_tuning
Category: training_techniques
Definition
Le P-Tuning (Prompt Tuning) est une technique conçue pour adapter de grands modèles de langage pré-entraînés à des tâches spécifiques avec un coût computationnel minimal. Au lieu d’ajuster tous les paramètres du modèle, cette méthode ne fait évoluer que des vecteurs d’embedding appris, permettant ainsi une adaptation rapide tout en préservant les connaissances générales du modèle de base.
Summary
Le P-Tuning est une méthode d’ajustement fin efficace en paramètres qui optimise les embeddings de prompts continus plutôt que de mettre à jour l’ensemble des poids du modèle pré-entraîné.
Key Concepts
- Ajustement fin efficace en paramètres
- Jetons virtuels
- Poids figés
- Optimisation des embeddings
Use Cases
- Adaptation en apprentissage peu échantillonné (few-shot)
- Environnements aux ressources limitées
- Prototypage rapide d’applications LLM