Hukum penskalaan saraf
term_id: neural_scaling_law
Category: basic_concepts
Definition
Hukum penskalaan saraf menggambarkan hubungan pangkat yang dapat diprediksi antara kinerja model dan skalanya, termasuk ukuran dataset, jumlah parameter, dan anggaran komputasi. Hukum-hukum ini menyarankan bahwa kinerja meningkat secara sistematis seiring dengan skala.
Summary
Hubungan empiris yang memprediksi peningkatan kinerja model berdasarkan peningkatan data, parameter, atau komputasi.
Key Concepts
- Hubungan pangkat
- Penskalaan parameter
- Efisiensi data
- Pelatihan optimal komputasi
Use Cases
- Perencanaan sumber daya untuk LLM
- Pemilihan arsitektur model
- Perkiraan kinerja