GPT-2
term_id: gpt2
Category: basic_concepts
Definition
Generative Pre-trained Transformer 2 (GPT-2) — это авторегрессионная языковая модель, использующая архитектуру трансформер для генерации текста, похожего на человеческий. Она была обучена на огромном наборе данных текстов из интернета.
Summary
GPT-2 — это крупномасштабная языковая модель на основе архитектуры трансформер, разработанная компанией OpenAI для генерации и понимания текста.
Key Concepts
- Архитектура трансформер
- Авторегрессионное моделирование
- Обработка естественного языка
- Обучение с малым количеством примеров (few-shot learning)
Use Cases
- Завершение и генерация текста
- Машинный перевод
- Разговорные агенты (чат-боты)