予測学習

term_id: predictive_learning

Category: training_techniques

Definition

予測学習とは、明示的な人間のラベルなしに、観測された入力から未観測のデータポイントを推論するようにニューラルネットワークを訓練するプロセスです。言語モデルにおける次トークンの予測や、画像におけるマスクされた領域の復元などのタスクを解くことで、モデルはデータの構造化された表現を学習します。

Summary

モデルが入力データの欠落部分を予測することで表現を学習する自己教師あり手法。

Key Concepts

自己教師あり学習
マスクドモデリング
表現学習
ラベルなしデータ

Use Cases

大規模言語モデルの事前学習
画像インペインティング（欠損部分補完）タスク
時系列データにおける異常検知