Lei de escalonamento neural
term_id: neural_scaling_law
Category: basic_concepts
Definition
As leis de escalonamento neural descrevem a relação previsível de lei de potência entre o desempenho de um modelo e sua escala, incluindo o tamanho do conjunto de dados, a contagem de parâmetros e o orçamento computacional. Essas leis sugerem que…
Summary
Relações empíricas que preveem melhorias no desempenho do modelo com base no aumento de dados, parâmetros ou capacidade computacional.
Key Concepts
- Relação de lei de potência
- Escalonamento de parâmetros
- Eficiência de dados
- Treinamento ótimo em termos de computação
Use Cases
- Planejamento de recursos para LLMs
- Seleção de arquitetura de modelos
- Previsão de desempenho