GPT-2
term_id: gpt2
Category: basic_concepts
Definition
Generative Pre-trained Transformer 2 (GPT-2) là một mô hình ngôn ngữ tự hồi quy sử dụng kiến trúc Transformer để tạo ra văn bản giống con người. Nó đã được huấn luyện trên một tập dữ liệu khổng lồ gồm các văn bản từ internet.
Summary
GPT-2 là một mô hình ngôn ngữ quy mô lớn dựa trên kiến trúc Transformer, được phát triển bởi OpenAI cho mục đích tạo và hiểu văn bản.
Key Concepts
- Kiến trúc Transformer
- Mô hình hóa tự hồi quy
- Xử lý ngôn ngữ tự nhiên
- Học ít ví dụ (Few-shot learning)
Use Cases
- Hoàn thành và tạo văn bản
- Dịch máy
- Tác nhân hội thoại