Distribuované trénování
term_id: distributed_training
Category: training_techniques
Definition
Distribuované trénování urychluje konvergenci modelu paralelizací výpočtů přes více GPU nebo uzlů. Mezi techniky patří paralelizace dat, kde každý pracovní uzel zpracovává podmnožinu dat, a paralelizace modelu…
Summary
Metoda trénování modelů strojového učení rozdělením dat nebo výpočtů napříč více zařízeními nebo servery.
Key Concepts
- Paralelizace dat
- Paralelizace modelu
- GPU klastry
- Synchronizace gradientů
Use Cases
- Trénování velkých jazykových modelů
- Zrychlení zpracování datových sad pro počítačové vidění
- Snížení času trénování komplexních neuronových sítí