Самоконсистентность
term_id: self_consistency
Category: training_techniques
Definition
В основном используется с большими языковыми моделями (LLM), эта техника повышает точность за счет генерации нескольких разнообразных ответов на запрос путем сэмплирования. Вместо reliance на жадное декодирование, она агрегирует результаты голосования большинства для получения финального вывода.
Summary
Самоконсистентность — это стратегия декодирования, при которой выбирается наиболее часто встречающийся ответ среди нескольких сгенерированных путей рассуждения.
Key Concepts
- Голосование большинства
- Стратегия декодирования
- Рассуждение LLM
- Снижение галлюцинаций
Use Cases
- Решение математических задач со словами
- Сложная логическая дедукция
- Задачи синтеза кода