P-Tuning
term_id: p_tuning
Category: training_techniques
Definition
P-Tuning (Prompt Tuning) — это техника, предназначенная для адаптации крупных предварительно обученных языковых моделей к конкретным задачам при минимальных вычислительных затратах. Вместо полного дообучения всех параметров модели, этот метод оптимизирует только векторы эмбеддингов специальных виртуальных токенов, оставляя веса основной модели замороженными.
Summary
P-Tuning — это метод эффективной дообучения с малым количеством параметров, который оптимизирует непрерывные эмбеддинги промптов вместо обновления весов всей предварительно обученной модели.
Key Concepts
- Эффективное дообучение с малым числом параметров
- Виртуальные токены
- Замороженные веса
- Оптимизация эмбеддингов
Use Cases
- Адаптация для обучения с малым количеством примеров (few-shot learning)
- Среда с ограниченными вычислительными ресурсами
- Быстрое прототипирование приложений на базе больших языковых моделей