Магистральная сеть
term_id: highway_network
Category: basic_concepts
Definition
Магистральные сети (Highway Networks) разработаны для решения проблемы затухания градиента в глубоком обучении путем внедрения адаптивных гейтов, контролирующих поток информации. Подобно ячейкам LSTM, эти гейты позволяют сети решать, какую часть входных данных пропустить без изменений, а какую трансформировать, что облегчает обучение сетей с большим количеством слоев.
Summary
Архитектура глубокой нейронной сети, которая вводит механизмы гейтирования для облегчения потока градиентов через очень глубокие сети.
Key Concepts
- Механизм гейтирования
- Затухание градиента
- Глубокое обучение
- Поток информации
Use Cases
- Глубокие нейронные сети
- Распознавание речи
- Компьютерное зрение