Тонкая настройка промптов
term_id: prompt_tuning
Category: training_techniques
Definition
Тонкая настройка промптов включает добавление обучаемых мягких промптов (непрерывных векторов) к входному слою предварительно обученной языковой модели, сохраняя параметры основной модели неизменными. Этот подход позволяет адаптировать модель с минимальными вычислительными затратами.
Summary
Метод эффективной по параметрам тонкой настройки, который оптимизирует непрерывные входные эмбеддинги, а не обновляет веса всей модели.
Key Concepts
- мягкие промпты
- эффективность по параметрам
- замороженные веса
- обучение на нескольких примерах
Use Cases
- Адаптация больших языковых моделей для конкретных предметных областей
- Эффективная тонкая настройка при ограниченных ресурсах
- Оптимизация многозадачного обучения