Codificator

term_id: encoder

Category: basic_concepts

Definition

Codificatoarele procesează secvențe brute de intrare sau structuri de date și le convertesc în reprezentări din spațiul latent, adesea numite încorporări sau coduri. Ele sunt centrale în arhitecturi precum Transformers și Autoencoders.

Summary

Un codificator este un component al unei rețele neuronale care transformă datele de intrare într-o reprezentare comprimată și semnificativă.

Key Concepts

  • Extragerea caracteristicilor
  • Spațiu latent
  • Procesarea secvențelor
  • Compresie

Use Cases

  • Procesarea textului de intrare în modelele Transformer
  • Compresia imaginilor în auto-codificatoarele pentru eliminarea zgomotului
  • Extragerea caracteristicilor de sentiment din recenzii

Code Example

1
2
3
4
5
6
7
8
9

import torch.nn as nn

class SimpleEncoder(nn.Module):
    def __init__(self, input_dim, hidden_dim):
        super().__init__()
        self.fc = nn.Linear(input_dim, hidden_dim)
    
    def forward(self, x):
        return torch.relu(self.fc(x))

Related