예측 학습(Predictive learning)
Definition
예측 학습은 명시적인 인간 라벨 없이 관찰된 입력으로부터 관찰되지 않은 데이터 포인트를 추론하도록 신경망을 훈련시키는 과정입니다. 언어 모델에서의 다음 토큰 예 …
Pretraining
Terms tagged with Pretraining
Terms tagged with Pretraining
예측 학습은 명시적인 인간 라벨 없이 관찰된 입력으로부터 관찰되지 않은 데이터 포인트를 추론하도록 신경망을 훈련시키는 과정입니다. 언어 모델에서의 다음 토큰 예 …
마스크 채우기는 BERT와 같은 트랜스포머 기반 모델에서 사용되는 기본 사전 학습 목적 함수입니다. …
RefinedWeb은 파운데이션 모델 사전 훈련을 위해 설계된 필터링된 웹 페이지의 대규모 데이터셋입니다. 이 데이터셋은 저품질 콘텐츠, 중복 항목 및 유해 자 …