Embedding Modell

term_id: embedding_model

Category: application_paradigms

Definition

Ezek a modellek magas dimenziós adatokat alacsonyabb dimenziós, folytonos vektortérképeznek át, ahol a hasonló elemek közelebb helyezkednek el egymáshoz. Ez az átalakítás rögzíti a szemantikai kapcsolatokat, lehetővé téve a…

Summary

Egy embedding modell nyers adatokat, például szöveget vagy képeket, sűrű numerikus vektorokká alakít át, amelyek a szemantikai jelentést képviselik.

Key Concepts

  • Vektoros reprezentáció
  • Szemantikai hasonlóság
  • Dimenziócsökkentés
  • Jellemzők kinyerése

Use Cases

  • Szemantikus keresőmotorok építése
  • Ajánlórendszerek termékekhez vagy tartalmakhoz
  • Hasonló dokumentumok vagy képek csoportosítása

Code Example

1
2
3
4
5
6
7

from transformers import AutoTokenizer, AutoModel
import torch

model = AutoModel.from_pretrained('sentence-transformers/all-MiniLM-L6-v2')
tokenizer = AutoTokenizer.from_pretrained('sentence-transformers/all-MiniLM-L6-v2')
inputs = tokenizer('Hello world', return_tensors='pt')
embeddings = model(**inputs).last_hidden_state.mean(dim=1)

Related