Langsiktig-korttidshukommelse

term_id: long_short_term_memory

Category: basic_concepts

Definition

LSTM-nettverk adresserer problemet med forsvinnende gradienter som er vanlig i standard RNN-er ved å bruke en tilstandsmekanisme og tre porter: inngangsport, glemselport og utgangsport. Disse portene regulerer strømningen av informasjon, noe som lar nettverket huske relevante detaljer over lange perioder og glemme irrelevant informasjon.

Summary

En spesialisert arkitektur for rekursive nevrale nettverk designet for å lære langsiktige avhengigheter i sekvensielle data.

Key Concepts

  • Portmekanismer
  • Tilstandsmekanisme
  • Sekvensielle data
  • Forsvinnende gradient

Use Cases

  • Prognose for tidsserier
  • Talegjenkjenning
  • Maskinoversettelse

Code Example

1
2

import torch.nn as nn
lstm = nn.LSTM(input_size=10, hidden_size=20, num_layers=1)

Related