BERT
term_id: bert
Category: basic_concepts
Definition
BERT to technika uczenia maszynowego oparta na architekturze Transformer, służąca do wstępnego trenowania w dziedzinie przetwarzania języka naturalnego (NLP), opracowana przez firmę Google. Wykorzystuje maskowanie językowe oraz przewidywanie kolejnych zdań do nauki dwukierunkowych reprezentacji tekstu.
Summary
Bidirectional Encoder Representations from Transformers to wstępnie wytrenowany model przetwarzania języka naturalnego.
Key Concepts
- Architektura Transformer
- Maskowanie językowe
- Wstępne trenowanie
- Dostrajanie
Use Cases
- Systemy odpowiadania na pytania
- Analiza sentymentu
- Klasyfikacja tekstu