Hosszú-rövid távú memória (LSTM)

term_id: long_short_term_memory

Category: basic_concepts

Definition

Az LSTM hálózatok megoldják a szabványos RNN-ekben gyakori eltűnő gradiens problémát egy cellaállapot és három kapu mechanizmus (bemeneti, elfelejtő és kimeneti kapuk) használatával. Ezek a kapuk szabályozzák az információ áramlását, lehetővé téve a modell számára, hogy megőrizze vagy töröljön információt a hosszú időn át tartó kontextusból.

Summary

Egy speciális rekurzív neurális hálózati architektúra, amelyet arra terveztek, hogy sorozatos adatokban hosszú távú függőségeket tanuljon meg.

Key Concepts

  • Kapumechanizmusok (Gating Mechanisms)
  • Cellaállapot (Cell State)
  • Sorozatos adatok (Sequential Data)
  • Eltűnő gradiens (Vanishing Gradient)

Use Cases

  • Idősoros előrejelzés
  • Beszédfelismerés
  • Gépi fordítás

Code Example

1
2

import torch.nn as nn
lstm = nn.LSTM(input_size=10, hidden_size=20, num_layers=1)

Related