IA Constitucional
term_id: constitutional_ai
Category: application_paradigms
Definition
La IA Constitucional es un marco para alinear grandes modelos de lenguaje con los valores humanos sin depender exclusivamente de la retroalimentación humana en cada paso. Implica crear una ‘constitución’ de principios de alto nivel que el modelo utiliza para criticarse a sí mismo y ajustar su comportamiento, ofreciendo una alternativa escalable y eficiente al RLHF tradicional.
Summary
Un método para entrenar modelos de IA para seguir directrices de seguridad mediante autocorrección basada en un conjunto predefinido de principios.
Key Concepts
- Autocorrección
- Alineación
- Entrenamiento Basado en Principios
- Alternativa al RLHF
Use Cases
- Reducción de salidas dañinas en LLMs
- Mejora de la utilidad y honestidad del modelo
- Escalado eficiente del entrenamiento de seguridad