Embedding-Modell

term_id: embedding_model

Category: application_paradigms

Definition

Diese Modelle abbilden hochdimensionale Daten in einen niedrigdimensionalen, kontinuierlichen Vektorraum, in dem ähnliche Elemente näher beieinander liegen. Diese Transformation erfasst semantische Beziehungen, wodurch ein

Summary

Ein Embedding-Modell wandelt Rohdaten wie Text oder Bilder in dichte numerische Vektoren um, die die semantische Bedeutung repräsentieren.

Key Concepts

  • Vektordarstellung
  • Semantische Ähnlichkeit
  • Dimensionsreduktion
  • Merkmalsextraktion

Use Cases

  • Aufbau semantischer Suchmaschinen
  • Empfehlungssysteme für Produkte oder Inhalte
  • Clustering ähnlicher Dokumente oder Bilder

Code Example

1
2
3
4
5
6
7

from transformers import AutoTokenizer, AutoModel
import torch

model = AutoModel.from_pretrained('sentence-transformers/all-MiniLM-L6-v2')
tokenizer = AutoTokenizer.from_pretrained('sentence-transformers/all-MiniLM-L6-v2')
inputs = tokenizer('Hello world', return_tensors='pt')
embeddings = model(**inputs).last_hidden_state.mean(dim=1)

Related