Apprendimento delle preferenze
term_id: preference_learning
Category: training_techniques
Definition
L’apprendimento delle preferenze si concentra sull’insegnamento ai modelli di distinguere tra buone e cattive uscite basandosi sui giudizi umani piuttosto che su etichette assolute. Coinvolge tipicamente la raccolta di coppie di risposte dove un umano indica quale sia preferibile, permettendo al modello di imparare una funzione di ricompensa sottostante che riflette le preferenze umane complesse e sfumate.
Summary
Una tecnica che addestra i modelli ad allineare le uscite con le preferenze umane utilizzando feedback comparativo.
Key Concepts
- Feedback umano
- Confronto pairwise
- Modellazione della ricompensa
- Allineamento
Use Cases
- RLHF per LLM
- Sistemi di raccomandazione
- Filtraggio della moderazione dei contenuti