Inference (Odvozování)

term_id: inference

Category: engineering_practice

Definition

Inference označuje fázi nasazení, kdy je finální model používán k přijímání rozhodnutí nebo generování predikcí na neviděných datech. Na rozdíl od tréninku, který aktualizuje váhy, inference spotřebovává výpočetní zdroje pouze pro rychlé zpracování vstupů a produkci výsledků.

Summary

Fáze, ve které trénovaný model zpracovává nová data za účelem generování predikcí nebo výstupů.

Key Concepts

  • Predikce
  • Latence (zpoždění)
  • Průchodnost (Throughput)
  • Nasazení (Deployment)

Use Cases

  • Detekce podvodů v bankovních transakcích v reálném čase
  • Generování odpovědí v živých interakcích s chatbotem
  • Klasifikace obrázků v systémech autonomních vozidel

Code Example

1
2
3
4
5

import torch
model.eval()
with torch.no_grad():
    output = model(input_tensor)
    prediction = torch.argmax(output, dim=1)

Related