Μακροπρόθεσμη Βραχυπρόθεσμη Μνήμη (LSTM)

term_id: long_short_term_memory

Category: basic_concepts

Definition

Τα δίκτυα LSTM αντιμετωπίζουν το πρόβλημα της εξαφανιζόμενης κλίσης που είναι κοινό στα τυπικά RNN, χρησιμοποιώντας μια κατάσταση κυττάρου και τρεις μηχανισμούς πύλης: εισόδου, λήθης και εξόδου. Αυτές οι πύλες ρυθμίζουν τη ροή των πληροφοριών, επιτρέποντας στο δίκτυο να θυμάται ή να ξεχνά πληροφορίες για μεγάλα χρονικά διαστήματα.

Summary

Μια εξειδικευμένη αρχιτεκτονική επαναλαμβανόμενου νευρωνικού δικτύου σχεδιασμένη για τη μάθηση μακροπρόθεσμων εξαρτήσεων σε ακολουθιακά δεδομένα.

Key Concepts

  • Μηχανισμοί Πύλης
  • Κατάσταση Κυττάρου
  • Ακολουθιακά Δεδομένα
  • Εξαφανιζόμενη Κλίση

Use Cases

  • Πρόβλεψη χρονοσειρών
  • Αναγνώριση ομιλίας
  • Μηχανική μετάφραση

Code Example

1
2

import torch.nn as nn
lstm = nn.LSTM(input_size=10, hidden_size=20, num_layers=1)

Related