데이터셋: TII UAE/Falcon RefinedWeb

term_id: datasettiiuaefalcon_refinedweb

Category: basic_concepts

Definition

RefinedWeb은 파운데이션 모델 사전 훈련을 위해 설계된 필터링된 웹 페이지의 대규모 데이터셋입니다. 이 데이터셋은 저품질 콘텐츠, 중복 항목 및 유해 자료를 제거하기 위해 수십억 개의 웹 페이지를 처리합니다.

Summary

팔콘(Falcon)과 같은 대규모 언어 모델을 사전 훈련시키기 위해 기술 혁신 연구소(Technology Innovation Institute)가 선별한 대용량 고품질 웹 데이터셋입니다.

Key Concepts

  • 데이터 필터링
  • 사전 훈련 코퍼스
  • 웹 크롤링
  • 품질 관리

Use Cases

  • 대규모 언어 모델 사전 훈련
  • 데이터 품질이 모델 성능에 미치는 영향 비교
  • 효율적인 훈련 파이프라인 구축

Related