마스크 채우기
term_id: fill_mask
Category: basic_concepts
Definition
마스크 채우기는 BERT와 같은 트랜스포머 기반 모델에서 사용되는 기본 사전 학습 목적 함수입니다. 이 과정은 텍스트 시퀀스에서 무작위 토큰을 마스킹하고 모델이 원래 토큰을 예측하도록 훈련시키는 것을 포함합니다.
Summary
모델이 문장 내 주변 맥락을 바탕으로 누락된 토큰을 예측하는 자연어 처리 작업입니다.
Key Concepts
- 마스킹 언어 모델링
- 맥락 이해
- 자기 지도 학습
- 토큰 예측
Use Cases
- 텍스트 완성
- 의미적 역할 레이블링
- 사전 학습의 기초