GPT-2
term_id: gpt2
Category: basic_concepts
Definition
Generative Pre-trained Transformer 2 (GPT-2) est un modèle de langage autorégressif qui utilise l’architecture Transformer pour générer du texte semblable à celui d’un humain. Il a été entraîné sur un ensemble de données massif issu d’Internet.
Summary
GPT-2 est un modèle de langage à grande échelle basé sur l’architecture Transformer, développé par OpenAI pour la génération et la compréhension de texte.
Key Concepts
- Architecture Transformer
- Modélisation autorégressive
- Traitement automatique du langage naturel (NLP)
- Apprentissage few-shot
Use Cases
- Complétion et génération de texte
- Traduction automatique
- Agents conversationnels