预测学习

term_id: predictive_learning

Category: training_techniques

Definition

预测学习涉及训练神经网络，使其能够从观测到的输入中推断未观测到的数据点，而无需显式的人工标签。通过解决诸如语言中的下一个词元预测或图像中的掩码建模等任务，模型能够学习到强大的数据表示。

Summary

一种自监督方法，模型通过预测输入数据的缺失部分来学习表示。

Key Concepts

自监督
掩码建模
表示学习
无标签数据

Use Cases

预训练大型语言模型
图像修复任务
时间序列异常检测