Συσσώρευση Κλίσεων
term_id: gradient_accumulation
Category: training_techniques
Definition
Αυτή η στρατηγική βελτιστοποίησης επιτρέπει την εκπαίδευση μοντέλων βαθιάς μάθσης με αποτελεσματικά μεγέθη παρτίδας μεγαλύτερα από αυτά που χωράνε στη μνήμη της GPU. Συγκεντρώνοντας κλίσεις από διάφορες μικρές παρτίδες και εκτελώντας ενημέρωση βαρών μόνο μετά από πολλές διαβάσεις, μειώνεται το κόστος μνήμης.
Summary
Η συσσώρευση κλίσεων είναι μια τεχνική που προσομοιώνει μεγαλύτερα μεγέθη παρτίδας (batch) αθροίζοντας κλίσεις κατά τη διάρκεια πολλαπλών προωθητικών/οπισθοδιαδιδόμενων διαβάσεων πριν την ενημέρωση των βαρών.
Key Concepts
- Προσομοίωση Μεγέθους Παρτίδας
- Βελτιστοποίηση Μνήμης
- Στοχαστική Κλιμακωτή Πτώση
- Ενημέρωση Βαρών
Use Cases
- Λεπτομερειακή ρύθμιση (fine-tuning) μεγάλων μοντέλων
- Εκπαίδευση με περιορισμένη VRAM
- Σταθεροποίηση σύγκλισης απωλειών