プロンプトチューニング
term_id: prompt_tuning
Category: training_techniques
Definition
プロンプトチューニングは、事前学習済み言語モデルの入力層にトレーニング可能なソフトプロンプト（連続ベクトル）を追加し、基盤となるモデルのパラメータは凍結したままにするアプローチです。この手法により、大規模なモデルパラメータを更新することなく、特定タスクに適応させることが可能になります。
Summary
モデル全体の重みを更新するのではなく、連続的な入力埋め込みを最適化することで、パラメータ効率の高いファインチューニング手法。
Key Concepts
- ソフトプロンプト
- パラメータ効率
- 凍結された重み
- フューショット学習
Use Cases
- LLMを特定のドメインに適応させる
- 低リソース環境でのファインチューニング
- マルチタスク学習の最適化