Akumulacja Gradientów
term_id: gradient_accumulation
Category: training_techniques
Definition
Ta strategia optymalizacji pozwala trenować modele uczenia głębokiego z efektywnymi rozmiarami partii większymi niż to, co mieści się w pamięci GPU. Poprzez akumulację gradientów z kilku mini-partii i ich późniejsze uśrednianie przed aktualizacją wag, można oszczędzić pamięć.
Summary
Akumulacja gradientów to technika symulująca większe rozmiary partii poprzez sumowanie gradientów z wielu przejść w przód i w tył przed aktualizacją wag.
Key Concepts
- Symulacja Rozmiaru Partii
- Optymalizacja Pamięci
- Stochastyczny Gradientowy Zstępujący (SGD)
- Aktualizacja Wag
Use Cases
- Dostrojanie dużych modeli
- Trening przy ograniczonej pamięci VRAM
- Ustalanie zbieżności funkcji straty