Encoder

term_id: encoder

Category: basic_concepts

Definition

Gli encoder elaborano sequenze di input grezze o strutture dati e le convertono in rappresentazioni nello spazio latente, spesso chiamate embedding o codici. Sono centrali in architetture come i Transformer e gli Auto

Summary

Un encoder è un componente di una rete neurale che trasforma i dati di input in una rappresentazione compressa e significativa.

Key Concepts

  • Estrazione delle Caratteristiche
  • Spazio Latente
  • Elaborazione di Sequenze
  • Compressione

Use Cases

  • Elaborazione del testo di input nei modelli Transformer
  • Compressione di immagini negli autoencoder per la denoising
  • Estrazione di caratteristiche sentimentali dalle recensioni

Code Example

1
2
3
4
5
6
7
8
9

import torch.nn as nn

class SimpleEncoder(nn.Module):
    def __init__(self, input_dim, hidden_dim):
        super().__init__()
        self.fc = nn.Linear(input_dim, hidden_dim)
    
    def forward(self, x):
        return torch.relu(self.fc(x))

Related