Długokurkotrwała pamięć krótkotrwała (LSTM)

term_id: long_short_term_memory

Category: basic_concepts

Definition

Sieci LSTM rozwiązują problem zanikającego gradientu występujący w standardowych sieciach RNN, używając stanu komórki i trzech mechanizmów bramkujących: wejściowej, wyjściowej i zapominania. Bramki te regulują przepływ informacji…

Summary

Specjalizowana architektura rekurencyjnej sieci neuronowej zaprojektowana do nauki długoterminowych zależności w danych sekwencyjnych.

Key Concepts

  • Mechanizmy bramkujące (Gating Mechanisms)
  • Stan komórki (Cell State)
  • Dane sekwencyjne (Sequential Data)
  • Zanikający gradient (Vanishing Gradient)

Use Cases

  • Prognozowanie szeregów czasowych
  • Rozpoznawanie mowy
  • Tłumaczenie maszynowe

Code Example

1
2

import torch.nn as nn
lstm = nn.LSTM(input_size=10, hidden_size=20, num_layers=1)

Related