IA constitutionnelle
term_id: constitutional_ai
Category: application_paradigms
Definition
L’IA constitutionnelle est un cadre visant à aligner les grands modèles de langage sur les valeurs humaines sans dépendre uniquement du retour humain à chaque étape. Elle implique la création d’une « constitution » de principes de haut niveau que le modèle utilise pour s’auto-évaluer et corriger ses réponses.
Summary
Une méthode d’entraînement des modèles d’IA pour suivre des directives de sécurité via l’auto-critique basée sur un ensemble prédéfini de principes.
Key Concepts
- Auto-correction
- Alignement
- Formation basée sur les principes
- Alternative au RLHF
Use Cases
- Réduction des sorties nuisibles dans les LLM
- Amélioration de l’utilité et de l’honnêteté du modèle
- Mise à l’échelle efficace de la formation à la sécurité