Vágás (Clipping)
term_id: clip
Category: engineering_practice
Definition
A mélytanulás mérnöki gyakorlatában a vágást gyakran alkalmazzák a gradiensre a robbanó gradiens probléma enyhítésére, biztosítva a stabil hátrafelé terjedő tanulás (backpropagation). Ez utalhat a kimeneti logitok korlátozására is a
Summary
A vágás egy technika, amelyet az értékek (például gradiens vagy kimeneti valószínűségek) nagyságának korlátozására használnak a numerikus instabilitás megelőzése érdekében a tanítás során.
Key Concepts
- Gradiens vágás
- Numerikus stabilitás
- Robbanó gradiens
- Regularizáció
Use Cases
- Rekurzív neurális hálózatok tanítása
- Transformer modellek tanításának stabilizálása
- A veszteség divergenciájának megelőzése