Konstituční AI
term_id: constitutional_ai
Category: application_paradigms
Definition
Konstituční AI je rámec pro sladění velkých jazykových modelů s lidskými hodnotami bez spoléhání se výhradně na lidskou zpětnou vazbu v každém kroku. Zahrnuje vytvoření ‘ústavy’ vysokourovňových principů, kterými se model řídí při generování a opravě odpovědí.
Summary
Metoda trénování modelů AI tak, aby dodržovaly bezpečnostní pokyny prostřednictvím sebekritiky založené na předem definované sadě principů.
Key Concepts
- Sebekorekce
- Sladění (Alignment)
- Trénink založený na principech
- Alternativa k RLHF
Use Cases
- Snížení škodlivých výstupů u LLM
- Zlepšení užitečnosti a poctivosti modelu
- Efektivní škálování tréninku bezpečnosti