Embedding Model

term_id: embedding_model

Category: application_paradigms

Definition

Bu modeller, benzer öğelerin daha yakın konumlandırıldığı yüksek boyutlu verileri daha düşük boyutlu sürekli bir vektör uzayına haritalar. Bu dönüşüm, anlamsal ilişkileri yakalar ve benzerlik aramalarına olanak tanır.

Summary

Bir gömme modeli, metin veya görüntüler gibi ham verileri anlamsal anlamı temsil eden yoğun sayısal vektörlere dönüştürür.

Key Concepts

  • Vektör Temsili
  • Anlamsal Benzerlik
  • Boyut Azaltma
  • Özellik Çıkarma

Use Cases

  • Anlamsal arama motorları oluşturma
  • Ürünler veya içerik için öneri sistemleri
  • Benzer belgeleri veya görüntüleri kümeleme

Code Example

1
2
3
4
5
6
7

from transformers import AutoTokenizer, AutoModel
import torch

model = AutoModel.from_pretrained('sentence-transformers/all-MiniLM-L6-v2')
tokenizer = AutoTokenizer.from_pretrained('sentence-transformers/all-MiniLM-L6-v2')
inputs = tokenizer('Hello world', return_tensors='pt')
embeddings = model(**inputs).last_hidden_state.mean(dim=1)

Related