Предобучение

Definition

Предобучение — это фундаментальная техника в глубоком обучении, при которой модель изучает широкие функции и закономерности из огромных объемов данных, часто без меток. Этот процесс позволяет модели развить…

Summary

Начальный этап обучения модели машинного обучения на большом неразмеченном наборе данных для изучения общих представлений перед тонкой настройкой для конкретных задач.

Key Concepts

• Переносное обучение
• Извлечение признаков
• Данные крупного масштаба
• Тонкая настройка

Use Cases

• Обучение языковых моделей BERT или GPT
• Инициализация сверточных нейронных сетей весами ImageNet
• Создание базовых моделей для мультимодального ИИ

Code Example

1
2
3

from transformers import BertModel
model = BertModel.from_pretrained('bert-base-uncased')
# Model is now pre-trained and ready for fine-tuning

Related Terms

• Fine-tuning (Тонкая настройка)
• Foundation Model (Базовая модель)
• Unsupervised Learning (Обучение без учителя)
• Transfer Learning (Переносное обучение)