Inferens

term_id: inference

Category: engineering_practice

Definition

Inferens refererer til distribueringsfasen der en ferdig modell brukes til å ta beslutninger eller lage prediksjoner på usett data. I motsetning til trening, som oppdaterer vekter, bruker inferens beregningsressurser til å kjøre modeller.

Summary

Fasen der en trent modell prosesserer ny data for å generere prediksjoner eller utdata.

Key Concepts

  • Prediksjon
  • Latens
  • Gjennomstrømning
  • Distribusjon

Use Cases

  • Sanntidsdeteksjon av svindel i banktransaksjoner
  • Generering av svar i live chatbot-samtaler
  • Klassifisering av bilder i autonome kjøretøy

Code Example

1
2
3
4
5

import torch
model.eval()
with torch.no_grad():
    output = model(input_tensor)
    prediction = torch.argmax(output, dim=1)

Related