Encoder

term_id: encoder

Category: basic_concepts

Definition

编码器处理原始输入序列或数据结构，并将它们转换为潜在空间表示，通常称为嵌入或代码。它们是 Transformer 和自编码器等架构的核心部分。

Summary

编码器是神经网络的组件，它将输入数据转换为压缩的、有意义的表示形式。

Key Concepts

  • 特征提取
  • 潜在空间
  • 序列处理
  • 压缩

Use Cases

  • 在 Transformer 模型中处理输入文本
  • 在去噪自编码器中压缩图像
  • 从评论中提取情感特征

Code Example

1
2
3
4
5
6
7
8
9

import torch.nn as nn

class SimpleEncoder(nn.Module):
    def __init__(self, input_dim, hidden_dim):
        super().__init__()
        self.fc = nn.Linear(input_dim, hidden_dim)
    
    def forward(self, x):
        return torch.relu(self.fc(x))

Related