Encoder

term_id: encoder

Category: basic_concepts

Definition

Encoder memproses urutan atau struktur data mentah dan mengubahnya menjadi representasi ruang laten, sering disebut sebagai embedding atau kode. Encoder merupakan pusat arsitektur seperti Transformer dan Autoencoder.

Summary

Encoder adalah komponen jaringan saraf yang mengubah data input menjadi representasi yang terkompresi dan bermakna.

Key Concepts

  • Ekstraksi Fitur
  • Ruang Laten
  • Pemrosesan Urutan
  • Kompresi

Use Cases

  • Memproses teks input dalam model Transformer
  • Mengompresi gambar dalam autoencoder untuk penghilangan derau
  • Mengekstrak fitur sentimen dari ulasan

Code Example

1
2
3
4
5
6
7
8
9

import torch.nn as nn

class SimpleEncoder(nn.Module):
    def __init__(self, input_dim, hidden_dim):
        super().__init__()
        self.fc = nn.Linear(input_dim, hidden_dim)
    
    def forward(self, x):
        return torch.relu(self.fc(x))

Related