Адаптер
term_id: adapter
Category: training_techniques
Definition
Адаптеры — это техника эффективного по параметрам дообучения, используемая преимущественно в больших языковых моделях и трансформерах. Вместо обновления всех весов модели, что вычислительно затратно, адаптеры
Summary
Легковесный модуль, встраиваемый в предварительно обученные модели для эффективной дообучения под конкретные задачи.
Key Concepts
- Эффективное дообучение по параметрам
- Перенос обучения
- Модульная архитектура
- Катастрофическое забывание
Use Cases
- Дообучение больших языковых моделей для чат-ботов службы поддержки
- Адаптация моделей компьютерного зрения для анализа медицинских изображений
- Эффективное развертывание нескольких моделей, специализированных для конкретных областей