그로킹 (Grokking)

term_id: grokking

Category: basic_concepts

Definition

그로킹(Grokking)은 딥러닝에서 관찰되는 직관에 반하는 행동으로, 모델이 오랫동안 훈련 데이터에 과적합(overfitting)되어 일반화 성능이 낮게 유지되다가, 특정 시점이 지나자 갑자기 테스트 데이터에 대한 일반화 성능이 급격히 향상되는 현상을 의미합니다.

Summary

신경망이 작은 데이터셋에 장기간 훈련하여 암기 지점을 훨씬 넘은 시점에서도 갑자기 일반화 성능이 급격히 향상되는 현상입니다.

Key Concepts

  • 지연된 일반화 (Delayed Generalization)
  • 과적합 (Overfitting)
  • 소형 데이터셋 (Small Datasets)
  • 최적화 역학 (Optimization Dynamics)

Use Cases

  • 모델 일반화의 한계 연구
  • 훈련 역학 분석
  • 암기와 학습의 차이 이해

Related