Inferens

term_id: inference

Category: engineering_practice

Definition

Inferens avser deploymentsfasen där en färdigmodell används för att fatta beslut eller göra prediktioner på osedd data. Till skillnad från träning, som uppdaterar vikter, förbrukar inferens beräkningsresurser för att producera resultat.

Summary

Den fas där en tränad modell bearbetar ny data för att generera prediktioner eller utdata.

Key Concepts

  • Prediktion
  • Latenstid
  • Genomströmning
  • Deployment

Use Cases

  • Detektering av bedrägerier i realtid vid banktransaktioner
  • Generering av svar i direkta chattbottsinteraktioner
  • Klassificering av bilder i autonoma fordonsystem

Code Example

1
2
3
4
5

import torch
model.eval()
with torch.no_grad():
    output = model(input_tensor)
    prediction = torch.argmax(output, dim=1)

Related