추론 (Inference)

term_id: inference

Category: engineering_practice

Definition

추론은 완성된 모델을 사용하여 보지 못한 데이터에 대해 결정을 내리거나 예측을 수행하는 배포 단계를 의미합니다. 가중치를 업데이트하는 훈련과 달리, 추론은 계산 자원을 소비하며 실시간 응답을 생성합니다.

Summary

훈련된 모델이 새로운 데이터를 처리하여 예측 또는 출력을 생성하는 단계.

Key Concepts

  • 예측 (Prediction)
  • 지연 시간 (Latency)
  • 처리량 (Throughput)
  • 배포 (Deployment)

Use Cases

  • 은행 거래에서의 실시간 사기 탐지
  • 실시간 챗봇 상호작용에서의 응답 생성
  • 자율주행 시스템에서의 이미지 분류

Code Example

1
2
3
4
5

import torch
model.eval()
with torch.no_grad():
    output = model(input_tensor)
    prediction = torch.argmax(output, dim=1)

Related