Fine-Tuning

Terms tagged with Fine-Tuning

Definition

プレフィックスチューニングは、事前学習済みトランスフォーマーモデルに適応させるためのパラメータ効率的な手法です。モデルの全重みを更新する代わりに、学習可能な連続ベクトルのシーケン …

P-Tuning（プロンプトチューニング）は、計算コストを最小限に抑えながら、大規模な事前学習済み言語モデルを特定のダウンストリームタスクに適応させるための手法です。すべてのモデ …

このエントリは、識別子「Jackrong/Qwen3.5 Reasoning 700X」で特定される特定のデータセットリポジトリを指します。これは通常、教師ありファインチューニン …

教師ありファインチューニング（SFT）とは、言語モデルなどの大規模な事前学習済みモデルを取得し、特定のダウンストリームタスク向けにラベル付けされた高品質な小規模データセットを用い …

QLoRAは、低ランク適応（LoRA）と4ビット量子化を組み合わせることで、巨大なモデルのファインチューニングに必要なメモリフットプリントを大幅に削減します。重みを4ビット形式で …

アダプターは、主に大規模言語モデルやトランスフォーマーで使用されるパラメータ効率の高いファインチューニング手法です。すべてのモデル重みを更新するという計算コストの高い作業の代わり …

人間からのフィードバックによる強化学習（RLHF）は、大規模言語モデルの出力を人間の価値観や期待により一致させるために微調整（ファインチューニング）を行う手法です。通常、このプロ …

LoRAは事前学習済みモデルの重みを凍結し、トランスフォーマーアーキテクチャの各層に学習可能な分解行列を挿入します。この低ランク行列のみを最適化することで、LoRA …