教師ありファインチューニング

Definition

教師ありファインチューニング（SFT）とは、言語モデルなどの大規模な事前学習済みモデルを取得し、特定のダウンストリームタスク向けにラベル付けされた高品質な小規模データセットを用いて訓練を継続することを指します。

Summary

特定のタスクやドメインに適応させるために、事前学習済みモデルを特定のデータセットでさらに訓練するプロセス。

Key Concepts

• 事前学習済みモデル
• 転移学習
• 指示調整
• ドメイン適応

Use Cases

• カスタムチャットボットの開発
• 専門的な医療Q&Aシステム
• コード生成アシスタント

Code Example

1
2
3
4
5
6
7

model.train()
for batch in dataloader:
    inputs, labels = batch
    outputs = model(inputs, labels=labels)
    loss = outputs.loss
    loss.backward()
    optimizer.step()

Related Terms

• Pre-training (事前学習)
• Reinforcement Learning from Human Feedback (人間のフィードバックによる強化学習)
• Prompt Engineering (プロンプトエンジニアリング)
• LLM (大規模言語モデル)