Konstitutionell AI
term_id: constitutional_ai
Category: application_paradigms
Definition
Konstitutionell AI är en ramverk för att alignera stora språkmodeller med mänskliga värderingar utan att enbart lita på mänsklig feedback för varje steg. Det innebär att skapa en ‘konstitution’ med högnivåprinciper som modellen använder för att granska och korrigera sina egna svar.
Summary
En metod för att träna AI-modeller att följa säkerhetsriktlinjer genom självkritik baserad på en fördefinierad uppsättning principer.
Key Concepts
- Självkorrigering
- Alignering
- Principbaserad träning
- Alternativ till RLHF
Use Cases
- Minskning av skadliga utdata i stora språkmodeller
- Förbättring av modellens hjälpsamhet och ärlighet
- Effektiv skalning av säkerhetsträning