Highway-netwerk
term_id: highway_network
Category: basic_concepts
Definition
Highway-netwerken zijn ontworpen om het probleem van vervagende gradiënten in deep learning aan te pakken door adaptieve poorten te integreren die de informatiestroom regelen. Net als LSTM-cellen laten deze poorten de netwerklaag toe om te beslissen hoeveel informatie direct moet worden doorgegeven (skip connection) versus hoe veel moet worden getransformeerd, waardoor het trainen van extreem diepe netwerken stabiel wordt.
Summary
Een architectuur voor diepe neurale netwerken die poortmechanismen introduceert om de gradiëntstroom door zeer diepe netwerken te vergemakkelijken.
Key Concepts
- Poortmechanisme
- Vervagende gradiënt
- Deep learning
- Informatiestroom
Use Cases
- Diepe neurale netwerken
- Spraakherkenning
- Computer vision