BERT
term_id: bert
Category: basic_concepts
Definition
BERT (Bidirectional Encoder Representations from Transformers) ist eine von Google entwickelte, auf Transformern basierende Methode des maschinellen Lernens für das Pretraining in der natürlichen Sprachverarbeitung (NLP). Es nutzt maskierte Sprachmodellierung und die Vorhersage des nächsten Satzes, um bidirektionale Darstellungen zu erlernen.
Summary
Bidirektionale Encoder-Darstellungen aus Transformern ist ein vortrainiertes Modell für die natürliche Sprachverarbeitung.
Key Concepts
- Transformer-Architektur
- Maskierte Sprachmodellierung
- Pretraining
- Feinabstimmung (Fine-Tuning)
Use Cases
- Frage-Antwort-Systeme
- Stimmungsanalyse (Sentiment Analysis)
- Textklassifizierung