다중 작업 최적화
term_id: multitask_optimization
Category: training_techniques
Definition
다중 작업 최적화(Multitask Optimization)는 단일 모델을 훈련시켜 여러 개의 서로 다르지만 관련성 있는 작업을 동시에 처리하도록 하는 접근 방식입니다. 작업 간 중간 표현을 공유함으로써 모델은 더 일반화된 특징을 학습할 수 있으며, 이는 데이터 효율성을 높이고 과적합을 줄이는 데 도움이 됩니다.
Summary
모델이 여러 관련 작업을 동시에 수행하도록 최적화하는 훈련 전략입니다.
Key Concepts
- 공유 표현(Shared representation)
- 작업별 헤드(Task-specific heads)
- 기울기 균형(Gradient balancing)
- 전이 학습(Transfer learning)
Use Cases
- 객체 감지와 분할의 동시 수행
- 다중 레이블 분류
- 음성 인식 및 언어 모델링