Leikkaus
term_id: clip
Category: engineering_practice
Definition
Syväoppimisessa leikkausta sovelletaan yleisesti gradientteihin eksplodoivan gradientin -ongelman lieventämiseksi, varmistaen vakaan takaisinpropagoinnin. Se voi myös viitata logit-arvojen rajoittamiseen ennen
Summary
Leikkaus on tekniikka, jota käytetään arvojen (kuten gradienttien tai lähtötodennäköisyyksien) suuruuden rajoittamiseen numeerisen epävakauden estämiseksi koulutuksen aikana.
Key Concepts
- Gradienttileikkaus
- Numeerinen vakaus
- Eksplodoivat gradientit
- Säännöllistäminen
Use Cases
- Rekurrenttisten neuronaaliverkostojen koulutus
- Transformer-mallien koulutuksen vakauttaminen
- Häviön (loss) hajaantumisen ehkäisy