Трансформеры для предложений
term_id: sentence_transformers
Category: training_techniques
Definition
Трансформеры для предложений являются расширениями традиционных моделей Трансформер (таких как BERT), дообученными для создания осмысленных плотных векторных представлений для целых предложений. В отличие от стандартных моделей на уровне токенов, они агрегируют информацию о всем предложении.
Summary
Архитектуры нейронных сетей, специально разработанные для генерации фиксированных векторных эмбеддингов для произвольных текстовых предложений.
Key Concepts
- Пулинг-слои
- Контрастивное обучение
- Плотные эмбеддинги
- Архитектура Трансформер
Use Cases
- Движки семантического поиска
- Кластеризация текстовых данных
- Конвейеры генерации с дополнением извлечения (RAG)