Model Embedding

term_id: embedding_model

Category: application_paradigms

Definition

Model-model ini memetakan data berdimensi tinggi ke dalam ruang vektor kontinu berdimensi lebih rendah di mana item serupa berada lebih dekat satu sama lain. Transformasi ini menangkap hubungan semantik, memungkinkan mesin memahami konteks dan makna.

Summary

Model embedding mengubah data mentah seperti teks atau gambar menjadi vektor numerik padat yang mewakili makna semantik.

Key Concepts

  • Representasi Vektor
  • Kesamaan Semantik
  • Pengurangan Dimensi
  • Ekstraksi Fitur

Use Cases

  • Membangun mesin pencari semantik
  • Sistem rekomendasi untuk produk atau konten
  • Mengelompokkan dokumen atau gambar yang serupa

Code Example

1
2
3
4
5
6
7

from transformers import AutoTokenizer, AutoModel
import torch

model = AutoModel.from_pretrained('sentence-transformers/all-MiniLM-L6-v2')
tokenizer = AutoTokenizer.from_pretrained('sentence-transformers/all-MiniLM-L6-v2')
inputs = tokenizer('Hello world', return_tensors='pt')
embeddings = model(**inputs).last_hidden_state.mean(dim=1)

Related