Sentence Transformers

Definition

Sentence Transformersは、従来のTransformerモデル（BERTなど）を拡張したもので、全体としての文に対して意味のある密なベクトル表現を生成するようにファインチューニングされています。標準的なトークンレベルのモデルとは異なり、文全体の意味を捉えることを目的としています。

Summary

任意のテキスト文に対して固定サイズのベクトル埋め込みを生成するために特別に設計されたニューラルネットワークアーキテクチャ。

Key Concepts

• プーリング層
• コントラストive学習
• 密な埋め込み
• Transformerアーキテクチャ

Use Cases

• セマンティック検索エンジン
• テキストデータのクラスタリング
• 検索強化生成（RAG）パイプライン

Related Terms

• BERT
• Embeddings (埋め込み)
• Sentence Similarity (文の類似度)
• Contrastive Loss (コントラストive損失)