Sieć autostradowa
term_id: highway_network
Category: basic_concepts
Definition
Sieci Highway (Autostradowe) zostały zaprojektowane, aby rozwiązać problem zanikającego gradientu w uczeniu głębokim poprzez wprowadzenie adaptacyjnych bramek kontrolujących przepływ informacji. Podobnie jak w komórkach LSTM, te bramki pozwalają sieci decydować, ile informacji z wejścia powinno być przekształcone przez warstwę transformacyjną, a ile powinno zostać przeniesione dalej bez zmian. Pozwala to na trenowanie znacznie głębszych sieci niż tradycyjne MLP-y.
Summary
Architektura głębokiej sieci neuronowej wprowadzająca mechanizmy bramkowania, aby ułatwić przepływ gradientu przez bardzo głębokie sieci.
Key Concepts
- Mechanizm bramkowania
- Problem zanikającego gradientu
- Uczenie głębokie
- Przepływ informacji
Use Cases
- Głębokie sieci neuronowe
- Rozpoznawanie mowy
- Widzenie komputerowe