Alineación de IA
term_id: ai_alignment
Category: ethics_safety
Definition
La alineación de IA aborda el desafío de hacer que los sistemas de inteligencia artificial actúen de manera robusta según lo que sus usuarios intentan, en lugar de lo que especifican literalmente. Implica métodos técnicos para asegurar que el comportamiento del sistema sea beneficioso y seguro.
Summary
El campo de estudio centrado en garantizar que los sistemas de IA se comporten de acuerdo con los valores e intenciones humanas.
Key Concepts
- aprendizaje de valores
- comportamiento beneficioso
- problema de control
- interpretabilidad
Use Cases
- Investigación de seguridad en modelos de lenguaje grandes
- Desarrollo de funciones de recompensa para RLHF
- Implementación de directrices éticas