Encoder

term_id: encoder

Category: basic_concepts

Definition

Encoders behandler rå inputsekvenser eller datastrukturer og konverterer dem til latent rum-repræsentationer, ofte kaldet embeddings eller koder. De er centrale i arkitekturer som Transformers og Autoencoders, hvor de tjener til at fange de vigtigste træk ved dataene.

Summary

En encoder er en komponent i et neuralt netværk, der transformerer inputdata til en komprimeret, meningsfuld repræsentation.

Key Concepts

  • Funktionsekstraktion
  • Latent rum
  • Sekvensbehandling
  • Komprimering

Use Cases

  • Behandling af inputtekst i Transformer-modeller
  • Komprimering af billeder i autoencoders til støjreduktion
  • Ekstrahering af sentimentfunktioner fra anmeldelser

Code Example

1
2
3
4
5
6
7
8
9

import torch.nn as nn

class SimpleEncoder(nn.Module):
    def __init__(self, input_dim, hidden_dim):
        super().__init__()
        self.fc = nn.Linear(input_dim, hidden_dim)
    
    def forward(self, x):
        return torch.relu(self.fc(x))

Related