זיכרון לטווח ארוך וקצר (LSTM)

term_id: long_short_term_memory

Category: basic_concepts

Definition

רשתות LSTM פותרות את בעיית דעיכת הגרדיאנט הנפוצה ברשתות RNN רגילות באמצעות מצב תא (Cell State) ושלוש מנגנוני שערים: שערי כניסה, שכחה ויציאה. שערים אלו מווסתים את זרימת המידע לאורך הרצף.

Summary

ארכיטקטורה מיוחדת של רשת נוירונים רקורסיבית המיועדת ללמוד תלויות לטווח ארוך בנתונים רצפתיים.

Key Concepts

  • מנגנוני שערים
  • מצב תא
  • נתונים רצפתיים
  • דעיכת גרדיאנט

Use Cases

  • תחזית סדרות זמן
  • זיהוי דיבור
  • תרגום מכונה

Code Example

1
2

import torch.nn as nn
lstm = nn.LSTM(input_size=10, hidden_size=20, num_layers=1)

Related