클리핑

term_id: clip

Category: engineering_practice

Definition

딥러닝 엔지니어링에서 클리핑은 일반적으로 그래디언트에 적용되어 폭발하는 그래디언트(Exploding Gradient) 문제를 완화하고 역전파의 안정성을 보장합니다. 또한 출력 로짓(Logits)을 제한하는 것을 의미하기도 합니다.

Summary

클리핑은 훈련 중 수치적 불안정성을 방지하기 위해 그래디언트나 출력 확률과 같은 값의 크기를 제한하는 기법입니다.

Key Concepts

  • 그래디언트 클리핑
  • 수치적 안정성
  • 폭발하는 그래디언트
  • 정규화

Use Cases

  • 순환 신경망(RNN) 훈련
  • 트랜스포머 훈련 안정화
  • 손실 발산 방지

Related