転移学習

term_id: transfer_learning

Category: training_techniques

Definition

転移学習は、新しい関連タスクにおけるパフォーマンスの向上とトレーニング時間の短縮を実現するために、事前学習済みモデルを活用します。ゼロからトレーニングするのではなく、開発者は既存の重みを微調整し、効率的に学習を行います。

Summary

あるタスクのために開発されたモデルを、2つ目のタスクのためのモデルの初期値として再利用する機械学習の手法。

Key Concepts

  • 事前学習済みモデル
  • ファインチューニング
  • ドメイン適応
  • 特徴抽出

Use Cases

  • 限られたデータによる画像分類
  • ニッチなトピックに関する感情分析
  • 医療診断支援

Code Example

1
2
from transformers import AutoModelForSequenceClassification
model = AutoModelForSequenceClassification.from_pretrained('bert-base-uncased', num_labels=2)