Umplerea măștii
term_id: fill_mask
Category: basic_concepts
Definition
Umplerea măștii este un obiectiv fundamental de pre-antrenare utilizat în modelele bazate pe transformere, precum BERT. Procesul implică mascarea aleatorie a unor token-uri într-un șir de text și antrenarea modelului pentru a prezice valorile originale.
Summary
O sarcină de procesare a limbajului natural în care un model prezice token-urile lipsă dintr-o propoziție pe baza contextului înconjurător.
Key Concepts
- Modelarea limbajului cu mascare
- Înțelegerea contextuală
- Învățare auto-supervizată
- Predicția token-urilor
Use Cases
- Completarea textului
- Etichetarea rolurilor semantice
- Fundamentul pre-antrenării