자기 지도 학습(Self-supervised Learning)
term_id: self_supervised_learning
Category: training_techniques
Definition
자기 지도 학습은 알고리즘이 레이블이 없는 데이터 자체에서 감독 신호를 생성하는 기법으로, 일반적으로 입력의 누락된 부분을 예측하여 수행됩니다. 이는 미…
Summary
모델이 입력 데이터에서 자체적으로 라벨을 생성하여 표현을 학습하는 훈련 방법입니다.
Key Concepts
- 사전 훈련(Pre-training)
- 마스킹 언어 모델링(Masked Language Modeling)
- 대비 학습(Contrastive Learning)
- 표현 학습(Representation Learning)
Use Cases
- 대규모 언어 모델 훈련
- 이미지 표현 학습
- 음성 인식 시스템
Code Example
| |