掩码填充
term_id: fill_mask
Category: basic_concepts
Definition
掩码填充是 BERT 等基于 Transformer 模型中使用的一种基本预训练目标。该过程涉及掩盖文本序列中的随机标记，并训练模型预测被掩盖的原始标记，从而学习语言的深层语义表示。
Summary
一种自然语言处理任务，模型根据上下文预测句子中缺失的标记。
Key Concepts
- 掩码语言建模
- 上下文理解
- 自监督学习
- 标记预测
Use Cases
- 文本补全
- 语义角色标注
- 预训练基础