P-Tuning
term_id: p_tuning
Category: training_techniques
Definition
P-Tuning（プロンプトチューニング）は、計算コストを最小限に抑えながら、大規模な事前学習済み言語モデルを特定のダウンストリームタスクに適応させるための手法です。すべてのモデルパラメータをファインチューニングする代わりに、固定されたモデル重みに対して、プロンプトとして機能する連続的なベクトル（埋め込み）のみを最適化します。これにより、少ない計算資源でモデルの動作を調整できます。
Summary
P-Tuningは、事前学習済みモデルの全重みを更新するのではなく、連続的なプロンプト埋め込みを最適化することでパラメータ効率の高いファインチューニングを実現する方法です。
Key Concepts
- パラメータ効率の高いファインチューニング
- 仮想トークン
- 固定重み
- 埋め込み最適化
Use Cases
- フューショット学習への適応
- リソース制約のある環境での利用
- LLMアプリケーションの迅速なプロトタイピング