Inferenz

term_id: inference

Category: engineering_practice

Definition

Inferenz bezeichnet die Bereitstellungsphase, in der ein abgeschlossenes Modell verwendet wird, um Entscheidungen oder Vorhersagen für ungesehene Daten zu treffen. Im Gegensatz zum Training, das Gewichte aktualisiert, verbraucht die Inferenz Rechenressourcen…

Summary

Die Phase, in der ein trainiertes Modell neue Daten verarbeitet, um Vorhersagen oder Ausgaben zu generieren.

Key Concepts

  • Vorhersage
  • Latenz
  • Durchsatz
  • Bereitstellung

Use Cases

  • Echtzeit-Betrugserkennung bei Banktransaktionen
  • Generierung von Antworten in Live-Chatbot-Interaktionen
  • Klassifizierung von Bildern in autonomen Fahrzeugsystemen

Code Example

1
2
3
4
5

import torch
model.eval()
with torch.no_grad():
    output = model(input_tensor)
    prediction = torch.argmax(output, dim=1)

Related