Encoder

term_id: encoder

Category: basic_concepts

Definition

Encoders verwerken ruwe invoersequenties of gegevensstructuren en zetten deze om in representaties in de latente ruimte, vaak embeddings of codes genoemd. Ze zijn centraal in architecturen zoals Transformers en Auto…

Summary

Een encoder is een onderdeel van een neurale netwerk dat invoergegevens omzet in een gecomprimeerde, betekenisvolle representatie.

Key Concepts

  • Kenmerkextractie
  • Latente Ruimte
  • Sectieverwerking
  • Compressie

Use Cases

  • Het verwerken van invoertekst in Transformer-modellen
  • Het comprimeren van afbeeldingen in auto-encoders voor ruisonderdrukking
  • Het extraheren van sentimentkenmerken uit recensies

Code Example

1
2
3
4
5
6
7
8
9

import torch.nn as nn

class SimpleEncoder(nn.Module):
    def __init__(self, input_dim, hidden_dim):
        super().__init__()
        self.fc = nn.Linear(input_dim, hidden_dim)
    
    def forward(self, x):
        return torch.relu(self.fc(x))

Related