Selbstkonsistenz
term_id: self_consistency
Category: training_techniques
Definition
Diese Technik wird hauptsächlich bei Large Language Models (LLMs) eingesetzt und verbessert die Genauigkeit, indem sie durch Abtasten mehrere diverse Antworten auf einen Prompt generiert. Anstatt sich auf gierisches Dekodieren (greedy decoding) zu verlassen, aggregiert sie die Ergebnisse, um konsistente und korrektere Ausgaben zu erzielen.
Summary
Selbstkonsistenz ist eine Dekodierungsstrategie, bei der mehrere Denkpfade abgetastet und die am häufigsten vorkommende Antwort als endgültige Ausgabe ausgewählt wird.
Key Concepts
- Mehrheitsentscheidung
- Dekodierungsstrategie
- LLM-Reasoning
- Reduzierung von Halluzinationen
Use Cases
- Mathematische Textaufgaben
- Komplexe logische Deduktion
- Aufgaben zur Code-Synthese