ゲート付き再帰型ユニット（GRU）

term_id: gated_recurrent_unit

Category: basic_concepts

Definition

ゲート付き再帰型ユニット（GRU）は、系列データにおける長期依存関係を捉えるように設計された特殊な再帰型ニューラルネットワーク（RNN）セルです。長短期記憶（LSTM）アーキテクチャを簡素化しており、更新ゲートとリセットゲートの2つのゲートを使用して、過去の情報を保持するか捨てるかを制御します。これにより、計算効率が高く、パラメータ数が少ないという利点があります。

Summary

情報の流れを制御するためにゲート機構を使用する再帰型ニューラルネットワーク（RNN）の一種で、LSTMの簡略化された代替版として機能する。

Key Concepts

  • 再帰型ニューラルネットワーク
  • 更新ゲート
  • リセットゲート
  • 系列モデリング

Use Cases

  • 自然言語処理
  • 時系列予測
  • 音声認識

Code Example

 1
 2
 3
 4
 5
 6
 7
 8
 9
10

import torch.nn as nn

# Define a simple GRU layer
gru = nn.GRU(input_size=10, hidden_size=20, num_layers=1)

# Example input: (seq_len, batch, input_size)
input_data = torch.randn(5, 3, 10)
hidden_state = None

output, hidden = gru(input_data, hidden_state)

Related