推論

term_id: inference

Category: engineering_practice

Definition

推論とは、完成したモデルを使用して未見のデータに対して判断や予測を行うデプロイメント段階を指します。重みを更新するトレーニングとは異なり、推論は計算リソースを消費して結果を出力します。

Summary

訓練済みモデルが新しいデータを処理して予測や出力を生成するフェーズ。

Key Concepts

  • 予測
  • レイテンシー
  • スループット
  • デプロイメント

Use Cases

  • 銀行取引におけるリアルタイムの不正検出
  • ライブチャットボットでの応答生成
  • 自律走行車システムにおける画像分類

Code Example

1
2
3
4
5

import torch
model.eval()
with torch.no_grad():
    output = model(input_tensor)
    prediction = torch.argmax(output, dim=1)

Related