Lang Sigtkorttidshukommelse

term_id: long_short_term_memory

Category: basic_concepts

Definition

LSTM-netværk adresserer problemet med forsvindende gradienter, der er almindeligt i standard RNN’er, ved at bruge en celtillstand og tre gatemekanismer: input-, glemme- og output-gate. Disse gate regulerer strømningen af information, hvilket gør det muligt for netværket at huske relevante detaljer over lange perioder.

Summary

En specialiseret arkitektur til rekurrente neurale netværk, designet til at lære langsigtede afhængigheder i sekventielle data.

Key Concepts

  • Gatemekanismer
  • Celtillstand
  • Sekventielle data
  • Forsvindende gradient

Use Cases

  • Prognose af tidsserier
  • Talegenkendelse
  • Maskinoversættelse

Code Example

1
2

import torch.nn as nn
lstm = nn.LSTM(input_size=10, hidden_size=20, num_layers=1)

Related