최적화
term_id: optimization
Category: basic_concepts
Definition
머신러닝에서 최적화는 손실 함수를 최소화하여 모델 성능을 향상시키기 위해 모델 매개변수를 조정하는 알고리즘을 의미합니다. 일반적인 방법으로는 경사 하강법(Gradient Descent) 등이 있습니다.
Summary
최적의 해(solution) 매개변수를 찾기 위해 목적 함수를 최소화하거나 최대화하는 수학적 과정.
Key Concepts
- 손실 함수 최소화
- 경사 하강법
- 학습률
- 수렴
Use Cases
- 신경망 학습
- 하이퍼파라미터 튜닝
- 자원 할당 문제