Inferencia

Definition

La inferencia se refiere a la etapa de despliegue donde un modelo finalizado se utiliza para tomar decisiones o hacer predicciones sobre datos no vistos. A diferencia del entrenamiento, que actualiza los pesos, la inferencia consume recursos computacionales para producir resultados rápidos.

Summary

La fase en la que un modelo entrenado procesa nuevos datos para generar predicciones o salidas.

Key Concepts

• Predicción
• Latencia
• Rendimiento (Throughput)
• Despliegue

Use Cases

• Detección de fraude en tiempo real en transacciones bancarias
• Generación de respuestas en interacciones de chatbots en vivo
• Clasificación de imágenes en sistemas de vehículos autónomos

Code Example

1
2
3
4
5

import torch
model.eval()
with torch.no_grad():
    output = model(input_tensor)
    prediction = torch.argmax(output, dim=1)

Related Terms

• Entrenamiento (Fase de aprendizaje del modelo)
• Optimización de Latencia (Mejora de velocidad de respuesta)
• Agrupación (Batching, procesamiento de múltiples solicitudes)
• Servicio de Modelo (Model Serving, infraestructura de despliegue)