アダプター

Definition

アダプターは、主に大規模言語モデルやトランスフォーマーで使用されるパラメータ効率の高いファインチューニング手法です。すべてのモデル重みを更新するという計算コストの高い作業の代わりに、アダプターは小さな追加パラメータセットのみを更新します。

Summary

事前学習済みモデルに挿入され、特定のダウンストリームタスクに対して効率的なファインチューニングを可能にする軽量モジュール。

Key Concepts

• パラメータ効率ファインチューニング
• 転移学習
• モジュラーアーキテクチャ
• 壊滅的忘却

Use Cases

• カスタマーサービスチャットボット向けLLMのファインチューニング
• 医療画像分析向けビジョンモデルの適応
• 複数のドメイン固有モデルの効率的なデプロイ

Related Terms

• LoRA (Low-Rank Adaptation)
• Prompt Tuning (プロンプトチューニング)
• Fine-Tuning (ファインチューニング)
• Transformer (トランスフォーマー)