가지치기(Pruning)
term_id: pruning
Category: training_techniques
Definition
가지치기는 신경망에서 출력 정확도에 거의 기여하지 않는 뉴런, 연결 또는 필터를 식별하고 제거하는 과정입니다. 이러한 중복 요소를 제거함으로써 모델의 파라미터 수와 계산량을 대폭 줄일 수 있으며, 이는 모델의 경량화와 추론 속도 향상에 직접적으로 기여합니다. 밀집된(dense) 모델을 희소한(sparse) 구조로 변환하여 효율성을 높이는 것이 핵심 목표입니다.
Summary
모델의 크기를 줄이고 추론 속도를 향상시키기 위해 중복되거나 중요도가 낮은 매개변수를 제거하는 모델 압축 기술입니다.
Key Concepts
- 모델 압축(Model Compression)
- 중복 제거(Redundancy Removal)
- 추론 가속(Inference Acceleration)
- 희소성(Sparsity)
Use Cases
- 모바일 AI 배포(Mobile AI Deployment)
- 엣지 컴퓨팅 최적화(Edge Computing Optimization)
- 클라우드 추론 비용 절감(Reducing Cloud Inference Costs)