Memori Jangka Panjang-Pendek

term_id: long_short_term_memory

Category: basic_concepts

Definition

Jaringan LSTM mengatasi masalah gradien menghilang yang umum terjadi pada RNN standar dengan menggunakan keadaan sel dan tiga mekanisme gerbang: gerbang input, gerbang lupa, dan gerbang output. Gerbang-gerbang ini mengatur aliran informasi, memungkinkan jaringan untuk mengingat atau melupakan informasi penting selama periode waktu yang panjang.

Summary

Arsitektur jaringan saraf rekuren khusus yang dirancang untuk mempelajari ketergantungan jangka panjang dalam data sekuensial.

Key Concepts

  • Mekanisme Gerbang
  • Keadaan Sel
  • Data Sekuensial
  • Gradien Menghilang

Use Cases

  • Peramalan deret waktu
  • Pengenalan ucapan
  • Terjemahan mesin

Code Example

1
2

import torch.nn as nn
lstm = nn.LSTM(input_size=10, hidden_size=20, num_layers=1)

Related