Transformery zdań
term_id: sentence_transformers
Category: training_techniques
Definition
Transformery zdań są rozszerzeniem tradycyjnych modeli Transformer (takich jak BERT), dostrojonymi do wytwarzania znaczących, gęstych reprezentacji wektorowych dla całych zdań. W przeciwieństwie do standardowych modeli operujących na poziomie tokenów, te modele agregują informacje z całego zdania.
Summary
Architektury sieci neuronowych zaprojektowane specjalnie do generowania stałych wektorowych osadzeń dla dowolnych zdań tekstowych.
Key Concepts
- Warstwy poolingu
- Uczenie kontrastowe
- Gęste osadzenia
- Architektura Transformer
Use Cases
- Silniki wyszukiwania semantycznego
- Klasteryzacja danych tekstowych
- Potoki pracy Retrieval-Augmented Generation (RAG)