Dlouhá krátkodobá paměť

term_id: long_short_term_memory

Category: basic_concepts

Definition

Sítě LSTM řeší problém mizejícího gradientu běžný u standardních RNN pomocí stavu buňky a tří bránících mechanismů: vstupní, zapomenutí a výstupní brány. Tyto brány regulují tok informací, což umožňuje síti uchovávat důležité informace po delší dobu.

Summary

Specializovaná architektura rekurentní neuronové sítě navržená k učení dlouhodobých závislostí v sekvenčních datech.

Key Concepts

  • Bránící mechanismy
  • Stav buňky
  • Sekvenční data
  • Mizející gradient

Use Cases

  • Předpovídání časových řad
  • Rozpoznávání řeči
  • Strojový překlad

Code Example

1
2

import torch.nn as nn
lstm = nn.LSTM(input_size=10, hidden_size=20, num_layers=1)

Related