Régulation des invites (Prompt Tuning)
term_id: prompt_tuning
Category: training_techniques
Definition
La régulation des invites consiste à ajouter des invites entraînables continues (vecteurs continus) à la couche d’entrée d’un modèle de langage pré-entraîné, tout en gelant les paramètres sous-jacents du modèle. Cette approche permet une adaptation efficace sans réentraînement complet.
Summary
Une méthode d’ajustement fin efficace en paramètres qui optimise les embeddings d’entrée continus plutôt que de mettre à jour l’ensemble des poids du modèle.
Key Concepts
- invites souples (soft prompts)
- efficacité paramétrique
- poids gelés
- apprentissage few-shot
Use Cases
- Adaptation des LLM à des domaines spécifiques
- Ajustement fin à faible ressource
- Optimisation de l’apprentissage multi-tâches
Related Terms
- PEFT (Techniques d’ajustement fin efficaces en paramètres)
- LoRA (Low-Rank Adaptation, méthode d’ajustement fin par décomposition de rang faible)
- apprentissage en contexte (capacité d’un modèle à apprendre à partir d’exemples fournis dans l’invite)
- ajustement fin (processus d’entraînement supplémentaire d’un modèle pré-entraîné sur un ensemble de données spécifique)