Encoder

term_id: encoder

Category: basic_concepts

Definition

Encoder verarbeiten rohe Eingabesequenzen oder Datenstrukturen und konvertieren sie in Latent-Raum-Darstellungen, die oft als Embeddings oder Codes bezeichnet werden. Sie sind zentral für Architekturen wie Transformer und Auto

Summary

Ein Encoder ist eine Komponente eines neuronalen Netzes, die Eingabedaten in eine komprimierte, aussagekräftige Darstellung transformiert.

Key Concepts

  • Merkmalsextraktion
  • Latenter Raum
  • Sequenzverarbeitung
  • Kompression

Use Cases

  • Verarbeitung von Eingabetext in Transformer-Modellen
  • Komprimierung von Bildern in Autoencodern zum Rauschentfernen
  • Extrahieren von Sentiment-Merkmalen aus Bewertungen

Code Example

1
2
3
4
5
6
7
8
9

import torch.nn as nn

class SimpleEncoder(nn.Module):
    def __init__(self, input_dim, hidden_dim):
        super().__init__()
        self.fc = nn.Linear(input_dim, hidden_dim)
    
    def forward(self, x):
        return torch.relu(self.fc(x))

Related