Затворная рекуррентная единица (GRU)

term_id: gated_recurrent_unit

Category: basic_concepts

Definition

Затворная рекуррентная единица (GRU) — это специализированная ячейка рекуррентной нейронной сети (RNN), разработанная для захвата долгосрочных зависимостей в последовательных данных. Она упрощает архитектуру Long Short-Term Memory (LSTM), объединяя скрытое состояние и ячейку памяти, а также используя два затвора: затвор обновления и затвор сброса.

Summary

Тип архитектуры рекуррентной нейронной сети, использующий механизмы затворов для управления потоком информации, служащий упрощенной альтернативой LSTM.

Key Concepts

  • Рекуррентная нейронная сеть
  • Затвор обновления
  • Затвор сброса
  • Моделирование последовательностей

Use Cases

  • Обработка естественного языка
  • Прогнозирование временных рядов
  • Распознавание речи

Code Example

 1
 2
 3
 4
 5
 6
 7
 8
 9
10

import torch.nn as nn

# Define a simple GRU layer
gru = nn.GRU(input_size=10, hidden_size=20, num_layers=1)

# Example input: (seq_len, batch, input_size)
input_data = torch.randn(5, 3, 10)
hidden_state = None

output, hidden = gru(input_data, hidden_state)

Related