데이터셋: 위키백과

term_id: datasetwikipedia

Category: basic_concepts

Definition

위키백과는 텍스트 형식으로 이용 가능한 인간 지식 중 가장 크고 포괄적인 컬렉션 중 하나입니다. 인공지능(AI) 분야에서 위키백과는 대규모 언어 모델을 사전 훈련시키는 주요 원천으로 사용되며, 광범위한 지식과 문맥을 제공합니다.

Summary

대규모 언어 모델의 사전 훈련과 지식 집약적 자연어 처리(NLP) 작업의 기반이 되는 위키백과의 방대한 텍스트 수집물.

Key Concepts

사전 훈련 코퍼스
지식 베이스
언어 다양성

Use Cases

기반 언어 모델의 사전 훈련
개체명 연결 및 모호성 해결
팩트 체크 및 지식 검색