Encoder

term_id: encoder

Category: basic_concepts

Definition

Kodéry zpracovávají surové vstupní sekvence nebo datové struktury a převádí je na reprezentace v latentním prostoru, často nazývané vložení (embeddings) nebo kódy. Jsou ústředním prvkem architektur, jako jsou Transformery a Autoenkodéry.

Summary

Kodér je součástí neuronové sítě, která transformuje vstupní data do komprimovaného, smysluplného zastoupení.

Key Concepts

  • Extrakce znaků
  • Latentní prostor
  • Zpracování sekvencí
  • Komprese

Use Cases

  • Zpracování vstupního textu v modelech Transformer
  • Komprese obrázků v autoenkodérech pro odšumění
  • Extrakce sentimentálních znaků z recenzí

Code Example

1
2
3
4
5
6
7
8
9

import torch.nn as nn

class SimpleEncoder(nn.Module):
    def __init__(self, input_dim, hidden_dim):
        super().__init__()
        self.fc = nn.Linear(input_dim, hidden_dim)
    
    def forward(self, x):
        return torch.relu(self.fc(x))

Related