Định luật tỷ lệ mở rộng mạng nơ-ron
term_id: neural_scaling_law
Category: basic_concepts
Definition
Các định luật tỷ lệ mở rộng mạng nơ-ron mô tả mối quan hệ quy luật lũy thừa có thể dự đoán giữa hiệu suất của mô hình và quy mô của nó, bao gồm kích thước tập dữ liệu, số lượng tham số và ngân sách tính toán. Các định luật này gợi ý rằng…
Summary
Các mối quan hệ thực nghiệm dự đoán sự cải thiện hiệu suất mô hình dựa trên việc tăng dữ liệu, tham số hoặc khả năng tính toán.
Key Concepts
- Mối quan hệ quy luật lũy thừa
- Tỷ lệ tham số
- Hiệu quả dữ liệu
- Huấn luyện tối ưu tính toán
Use Cases
- Lập kế hoạch tài nguyên cho LLM
- Lựa chọn kiến trúc mô hình
- Dự báo hiệu suất