Bộ Mã hóa (Encoder)

term_id: encoder

Category: basic_concepts

Definition

Các bộ mã hóa xử lý các chuỗi đầu vào hoặc cấu trúc dữ liệu thô và chuyển đổi chúng thành các biểu diễn trong không gian ẩn (latent space), thường được gọi là nhúng hoặc mã. Chúng đóng vai trò trung tâm trong các kiến trúc như Transformer và Autoencoder.

Summary

Bộ mã hóa là một thành phần của mạng nơ-ron biến đổi dữ liệu đầu vào thành một biểu diễn nén và có ý nghĩa.

Key Concepts

  • Trích xuất Đặc trưng
  • Không gian Ẩn (Latent Space)
  • Xử lý Chuỗi
  • Nén dữ liệu

Use Cases

  • Xử lý văn bản đầu vào trong các mô hình Transformer
  • Nén hình ảnh trong autoencoder để khử nhiễu
  • Trích xuất đặc trưng cảm xúc từ các bài đánh giá

Code Example

1
2
3
4
5
6
7
8
9

import torch.nn as nn

class SimpleEncoder(nn.Module):
    def __init__(self, input_dim, hidden_dim):
        super().__init__()
        self.fc = nn.Linear(input_dim, hidden_dim)
    
    def forward(self, x):
        return torch.relu(self.fc(x))

Related