Bộ dữ liệu: Tiiuae/Falcon Refinedweb

term_id: datasettiiuaefalcon_refinedweb

Category: basic_concepts

Definition

RefinedWeb là một bộ dữ liệu quy mô lớn gồm các trang web đã được lọc, được thiết kế cho việc tiền huấn luyện các mô hình nền. Nó xử lý hàng tỷ trang web để loại bỏ nội dung chất lượng thấp, trùng lặp và các tài liệu độc hại…

Summary

Một bộ dữ liệu web khổng lồ, chất lượng cao do Viện Công nghệ Sáng tạo tuyển chọn để tiền huấn luyện các mô hình ngôn ngữ lớn như Falcon.

Key Concepts

  • Lọc dữ liệu
  • Kho dữ liệu tiền huấn luyện
  • Thu thập dữ liệu web
  • Kiểm soát chất lượng

Use Cases

  • Tiền huấn luyện các mô hình ngôn ngữ lớn
  • So sánh tác động của chất lượng dữ liệu đến hiệu suất mô hình
  • Xây dựng các quy trình huấn luyện hiệu quả

Related