Đơn vị tái phát có cổng

term_id: gated_recurrent_unit

Category: basic_concepts

Definition

Đơn vị tái phát có cổng (GRU) là một tế bào mạng nơ-ron tái diễn chuyên biệt được thiết kế để nắm bắt các phụ thuộc dài hạn trong dữ liệu tuần tự. Nó đơn giản hóa kiến trúc Long Short-Term Memory (LSTM) bằng cách giảm số lượng cổng và tham số cần huấn luyện, giúp quá trình học nhanh hơn và ít tốn tài nguyên tính toán hơn.

Summary

Một loại kiến trúc mạng nơ-ron tái diễn sử dụng cơ chế cổng để kiểm soát luồng thông tin, đóng vai trò là phiên bản đơn giản hóa so với LSTM.

Key Concepts

  • Mạng nơ-ron tái diễn (Recurrent Neural Network)
  • Cổng cập nhật (Update Gate)
  • Cổng đặt lại (Reset Gate)
  • Mô hình hóa chuỗi (Sequence Modeling)

Use Cases

  • Xử lý ngôn ngữ tự nhiên
  • Dự báo chuỗi thời gian
  • Nhận dạng giọng nói

Code Example

 1
 2
 3
 4
 5
 6
 7
 8
 9
10

import torch.nn as nn

# Define a simple GRU layer
gru = nn.GRU(input_size=10, hidden_size=20, num_layers=1)

# Example input: (seq_len, batch, input_size)
input_data = torch.randn(5, 3, 10)
hidden_state = None

output, hidden = gru(input_data, hidden_state)

Related