Servirea Modelului
term_id: model_serving
Category: engineering_practice
Definition
Servirea modelului implică luarea unui model antrenat static și încapsularea acestuia într-o infrastructură scalabilă care gestionează cererile entrante, efectuează inferența și returnează rezultatele. Provocările cheie includ gestionarea latenței și a scalabilității.
Summary
Procesul de implementare a modelelor de învățare automată antrenate în medii de producție pentru a face predicții sau a genera ieșiri pentru utilizatorii finali.
Key Concepts
- Inferență
- Optimizarea latenței
- Scalabilitate
- Implementare
Use Cases
- Motoare de recomandare în timp real
- API-uri de clasificare a imaginilor
- Servicii de procesare a limbajului natural