BERT
term_id: bert
Category: basic_concepts
Definition
BERT est une technique d’apprentissage automatique basée sur les transformateurs pour le pré-entraînement en TALN (traitement automatique du langage naturel), développée par Google. Il utilise la modélisation linguistique masquée et la prédiction de la phrase suivante pour apprendre des représentations bidirectionnelles.
Summary
Bidirectional Encoder Representations from Transformers est un modèle pré-entraîné de traitement du langage naturel.
Key Concepts
- Architecture Transformer
- Modélisation linguistique masquée
- Pré-entraînement
- Affinage (Fine-tuning)
Use Cases
- Systèmes de réponse aux questions
- Analyse des sentiments
- Classification de texte