מקודד (Encoder)

term_id: encoder

Category: basic_concepts

Definition

מקודדים מעבדים רצפי קלט גולמיים או מבני נתונים והופכים אותם לייצוגים במרחב סמוי (latent space), המכונים לעיתים הטמעות או קודים. הם מרכזיים בארכיטקטורות כמו טרנספורמרים ואוטואנקודרים.

Summary

מקודד הוא רכיב ברשת נוירונים הממיר נתוני קלט לייצוג דחוס ומשמעותי.

Key Concepts

  • חילוץ תכונות (Feature Extraction)
  • מרחב סמוי (Latent Space)
  • עיבוד רצפים (Sequence Processing)
  • דחיסה (Compression)

Use Cases

  • עיבוד טקסט קלט במודלי טרנספורמר
  • דחיסת תמונות באוטואנקודרים לניקוי רעשים
  • חילוץ תכונות רגש (sentiment) מביקורות

Code Example

1
2
3
4
5
6
7
8
9

import torch.nn as nn

class SimpleEncoder(nn.Module):
    def __init__(self, input_dim, hidden_dim):
        super().__init__()
        self.fc = nn.Linear(input_dim, hidden_dim)
    
    def forward(self, x):
        return torch.relu(self.fc(x))

Related