auto-supervisionado
term_id: self_supervised
Category: training_techniques
Definition
A aprendizagem auto-supervisionada é um subconjunto do aprendizado de máquina onde o sinal de supervisão é derivado automaticamente dos próprios dados, eliminando a necessidade de rotulagem manual. O modelo tipicamente resolve
Summary
A aprendizagem auto-supervisionada é uma técnica na qual o modelo gera seus próprios rótulos a partir dos dados de entrada para aprender representações sem anotação humana.
Key Concepts
- Tarefas Pretextuais
- Modelagem Mascara (Masked Modeling)
- Dados Não Rótulados
- Aprendizado de Representação
Use Cases
- Treinamento do BERT por meio de modelagem de linguagem mascarada
- Aprendizado contrastivo para embeddings de imagem
- Predição de próximos tokens em LLMs