Dataset:Bigcode/The Stack Dedup
term_id: datasetbigcodethe_stack_dedup
Category: basic_concepts
Definition
The Stack Dedup ist eine spezialisierte Teilmenge von The Stack, einem massiven Repository für Open-Source-Code. Es wendet strenge Deduplizierungstechniken an, um redundante Code-Snippets zu eliminieren, die große Sprachmodelle verzerren könnten.
Summary
Eine deduplizierte Version des The-Stack-Datensatzes, kuratiert von BigCode, um nahezu identische Code-Snippets für sauberere Trainingsdaten zu entfernen.
Key Concepts
- Deduplizierung
- Code-LLMs
- Datenqualität
- The Stack
Use Cases
- Training von Code-Generierungsmodellen
- Benchmarking von Coding-Fähigkeiten
- Reduzierung von Trainingsredundanzen