Конституционный ИИ
term_id: constitutional_ai
Category: application_paradigms
Definition
Конституционный ИИ — это фреймворк для согласования больших языковых моделей с человеческими ценностями без опоры исключительно на обратную связь от человека на каждом шаге. Он включает создание «конституции» из высокоуровневых принципов, которым модель обучается следовать самостоятельно.
Summary
Метод обучения моделей ИИ соблюдению руководств по безопасности посредством самокритики на основе заранее определенного набора принципов.
Key Concepts
- Самокоррекция (Self-Correction)
- Выравнивание (Alignment)
- Обучение на основе принципов (Principles-Based Training)
- Альтернатива RLHF (RLHF Alternative)
Use Cases
- Снижение количества вредоносных ответов в больших языковых моделях
- Улучшение полезности и честности модели
- Эффективное масштабирование обучения безопасности