Constitutional AI
term_id: constitutional_ai
Category: application_paradigms
Definition
Constitutional AI ist ein Rahmenwerk zur Ausrichtung großer Sprachmodelle auf menschliche Werte, ohne ausschließlich auf menschliches Feedback in jedem Schritt zu vertrauen. Es beinhaltet die Erstellung einer ‘Verfassung’ aus hochrangigen Prinzipien, die das Modell nutzt, um seine eigenen Ausgaben zu bewerten und zu korrigieren.
Summary
Eine Methode zum Trainieren von KI-Modellen, um Sicherheitsrichtlinien durch Selbstkritik auf Basis vordefinierter Prinzipien zu befolgen.
Key Concepts
- Selbstkorrektur
- Ausrichtung (Alignment)
- Prinzipienbasiertes Training
- Alternative zu RLHF
Use Cases
- Reduzierung schädlicher Ausgaben in LLMs
- Verbesserung der Nützlichkeit und Ehrlichkeit von Modellen
- Effizientes Skalieren von Sicherheitstrainings