Tamanho do Lote
term_id: batch_size
Category: training_techniques
Definition
O tamanho do lote é um hiperparâmetro crítico que determina quantas amostras são processadas antes que os parâmetros internos do modelo sejam atualizados. Um tamanho de lote maior fornece uma estimativa mais precisa do gradiente global, mas consome mais memória; já um tamanho menor introduz mais ruído, o que pode ajudar na generalização.
Summary
O número de exemplos de treinamento utilizados em uma única iteração do algoritmo de descida do gradiente estocástico.
Key Concepts
- Estimativa de gradiente
- Restrições de memória
- Estabilidade da convergência
- Ajuste de hiperparâmetros
Use Cases
- Ajuste da velocidade de convergência do modelo
- Gerenciamento dos limites de memória da GPU durante o treinamento
- Melhoria da generalização através de gradientes ruidosos