Sentence Transformers
term_id: sentence_transformers
Category: training_techniques
Definition
Sentence Transformers sind Erweiterungen traditioneller Transformer-Modelle (wie BERT), die darauf feinabgestimmt (fine-tuned) sind, um bedeutungsvolle dichte Vektordarstellungen für ganze Sätze zu produzieren. Im Gegensatz zu Standard-Token-Modellen aggregieren sie Informationen über den gesamten Satz hinweg.
Summary
Neuronale Netzwerkarchitekturen, die speziell dafür entwickelt wurden, feste Vektor-Embeddings für beliebige Textsätze zu erzeugen.
Key Concepts
- Pooling-Schichten
- Kontrastives Lernen
- Dichte Embeddings
- Transformer-Architektur
Use Cases
- Semantische Suchmaschinen
- Clustering von Textdaten
- Retrieval-Augmented Generation (RAG)-Pipelines