BERT
term_id: bert
Category: basic_concepts
Definition
O BERT é uma técnica de aprendizado de máquina baseada em transformadores para o pré-treinamento de PLN desenvolvida pelo Google. Ele usa modelagem de linguagem mascarada e previsão da próxima frase para aprender representações bidirecionais a partir do texto não rotulado.
Summary
Representações Bidirecionais de Codificadores de Transformadores é um modelo pré-treinado de processamento de linguagem natural.
Key Concepts
- Arquitetura de Transformador
- Modelagem de Linguagem Mascarada
- Pré-treinamento
- Ajuste fino
Use Cases
- Sistemas de Pergunta e Resposta
- Análise de Sentimento
- Classificação de Texto