Вывод (Inference)

term_id: inference

Category: engineering_practice

Definition

Вывод относится к этапу развертывания, на котором готовая модель используется для принятия решений или прогнозирования на ранее невиданных данных. В отличие от обучения, которое обновляет веса, вывод потребляет вычислительные ресурсы…

Summary

Фаза, на которой обученная модель обрабатывает новые данные для генерации прогнозов или результатов.

Key Concepts

  • Прогнозирование
  • Задержка (Latency)
  • Пропускная способность
  • Развертывание

Use Cases

  • Обнаружение мошенничества в реальном времени при банковских транзакциях
  • Генерация ответов в ходе живого взаимодействия с чат-ботом
  • Классификация изображений в системах автономных транспортных средств

Code Example

1
2
3
4
5

import torch
model.eval()
with torch.no_grad():
    output = model(input_tensor)
    prediction = torch.argmax(output, dim=1)

Related