מודל הטמעה (Embedding Model)

term_id: embedding_model

Category: application_paradigms

Definition

מודלים אלו ממפים נתונים רב-ממדיים למרחב וקטורי רציף בעל ממדים נמוכים יותר, שבו פריטים דומים נמצאים קרוב זה לזה. המרה זו תופסת קשרים סמנטיים, ומאפשרת השוואה יעילה.

Summary

מודל הטמעה הופך נתונים גולמיים כמו טקסט או תמונות לווקטורים מספריים צפופים המייצגים משמעות סמנטית.

Key Concepts

  • ייצוג וקטורי (Vector Representation)
  • דמיון סמנטי (Semantic Similarity)
  • הפחתת ממדים (Dimensionality Reduction)
  • חילוץ תכונות (Feature Extraction)

Use Cases

  • בניית מנועי חיפוש סמנטיים
  • מערכות המלצות למוצרים או תוכן
  • אשכול (Clustering) של מסמכים או תמונות דומים

Code Example

1
2
3
4
5
6
7

from transformers import AutoTokenizer, AutoModel
import torch

model = AutoModel.from_pretrained('sentence-transformers/all-MiniLM-L6-v2')
tokenizer = AutoTokenizer.from_pretrained('sentence-transformers/all-MiniLM-L6-v2')
inputs = tokenizer('Hello world', return_tensors='pt')
embeddings = model(**inputs).last_hidden_state.mean(dim=1)

Related