Transformer Kalimat
term_id: sentence_transformers
Category: training_techniques
Definition
Transformer Kalimat adalah ekstensi dari model Transformer tradisional (seperti BERT) yang telah disempurnakan untuk menghasilkan representasi vektor padat yang bermakna untuk seluruh kalimat. Berbeda dengan model tingkat token standar, arsitektur ini menggabungkan output token menjadi satu vektor representasi.
Summary
Arsitektur jaringan saraf yang dirancang khusus untuk menghasilkan embedding vektor berukuran tetap untuk kalimat teks sembarang.
Key Concepts
- Lapisan pengelompokan (Pooling layers)
- Pembelajaran kontras
- Embedding padat
- Arsitektur Transformer
Use Cases
- Mesin pencari semantik
- Pengelompokan data tekstual
- Pipeline Retrieval-Augmented Generation (RAG)