BERT
term_id: bert
Category: basic_concepts
Definition
BERT (Bidirectional Encoder Representations from Transformers) — это метод машинного обучения на основе трансформеров для предварительного обучения в области обработки естественного языка (NLP), разработанный компанией Google. Он использует маскированное языковое моделирование и предсказание следующего предложения для изучения двунаправленных представлений.
Summary
Bidirectional Encoder Representations from Transformers — предварительно обученная модель для обработки естественного языка.
Key Concepts
- Архитектура трансформера
- Маскированное языковое моделирование
- Предварительное обучение
- Дообучение (fine-tuning)
Use Cases
- Системы ответов на вопросы
- Анализ тональности текста
- Классификация текстов