Набор данных: Bigcode/The Stack Dedup
term_id: datasetbigcodethe_stack_dedup
Category: basic_concepts
Definition
The Stack Dedup — это специализированное подмножество набора данных The Stack, представляющего собой массивный репозиторий открытого исходного кода. В нем применяются строгие методы устранения дубликатов для удаления избыточных фрагментов кода, которые могли бы исказить обучение больших языковых моделей.
Summary
Версия набора данных The Stack без дубликатов, подготовленная сообществом BigCode для удаления почти идентичных фрагментов кода с целью получения более чистых данных для обучения.
Key Concepts
- Устранение дубликатов
- Языковые модели для кода (Code LLMs)
- Качество данных
- The Stack
Use Cases
- Обучение моделей генерации кода
- Оценка возможностей написания кода
- Снижение избыточности при обучении