Long Short-Term Memory (LSTM)

term_id: long_short_term_memory

Category: basic_concepts

Definition

LSTM-Netze lösen das Problem des verschwindenden Gradienten, das bei Standard-RNNs häufig auftritt, indem sie einen Zellzustand und drei Gating-Mechanismen verwenden: Eingangs-, Vergessens- und Ausgangstore. Diese Tore regulieren den Fluss der Informationen und ermöglichen es dem Netz, relevante Informationen über lange Zeiträume hinweg zu speichern.

Summary

Eine spezialisierte Architektur rekurrenter neuronaler Netze, die darauf ausgelegt ist, langfristige Abhängigkeiten in sequenziellen Daten zu lernen.

Key Concepts

  • Gating-Mechanismen
  • Zellzustand
  • Sequenzielle Daten
  • Verschwindender Gradient

Use Cases

  • Zeitreihenvorhersage
  • Spracherkennung
  • Maschinelle Übersetzung

Code Example

1
2

import torch.nn as nn
lstm = nn.LSTM(input_size=10, hidden_size=20, num_layers=1)

Related