Batch-Größe
term_id: batch_size
Category: training_techniques
Definition
Die Batch-Größe ist ein kritischer Hyperparameter, der bestimmt, wie viele Samples verarbeitet werden, bevor die internen Parameter des Modells aktualisiert werden. Eine größere Batch-Größe liefert eine genauere Schätzung der
Summary
Die Anzahl der Trainingsbeispiele, die in einer Iteration des stochastischen Gradientenabstiegsalgorithmus verwendet werden.
Key Concepts
- Gradientenschätzung
- Speicherbeschränkungen
- Konvergenzstabilität
- Hyperparameter-Tuning
Use Cases
- Einstellung der Modellkonvergenzgeschwindigkeit
- Verwaltung der GPU-Speicherbegrenzungen während des Trainings
- Verbesserung der Generalisierung durch verrauschte Gradienten