Префиксное тонкое настраивание
term_id: prefix_tuning
Category: training_techniques
Definition
Префиксное тонкое настраивание — это техника адаптации с эффективностью по количеству параметров для предварительно обученных трансформеров. Вместо обновления всех весов модели, она-prepend (добавляет в начало) последовательность обучаемых непрерывных векторов (префикс) к входам каждого слоя трансформера. Это позволяет адаптировать модель под конкретную задачу, сохраняя веса базовой модели замороженными.
Summary
Метод эффективного по параметрам тонкого настраивания, который добавляет обучаемые непрерывные векторы во вход слоев трансформера.
Key Concepts
- Эффективное по параметрам настраивание
- Мягкие промпты (soft prompts)
- Слои трансформера
- Замороженная основа (frozen backbone)
Use Cases
- Адаптация для обучения с малым количеством примеров
- Мультизадачное обучение при ограниченных ресурсах
- Кастомизация больших языковых моделей для узких доменов