Εκπαίδευση μεικτής ακρίβειας

term_id: mixed_precision_training

Category: training_techniques

Definition

Η Εκπαίδευση Μεικτής Ακρίβειας (MPT) συνδυάζει τύπους δεδομένων ημι-ακρίβειας (FP16) και πλήρους ακρίβειας (FP32) κατά την εκπαίδευση νευρωνικών δικτύων. Χρησιμοποιώντας FP16 για τις περισσότερες πράξεις, η MPT μειώνει το αποτύπωμα μνήμης και αυξάνει την

Summary

Μια τεχνική εκπαίδευσης που χρησιμοποιεί τόσο αριθμούς κινητής υποδιαστολής 16-bit όσο και 32-bit για να επιταχύνει τον υπολογισμό και να μειώσει τη χρήση μνήμης.

Key Concepts

  • FP16
  • FP32
  • Tensor Cores
  • Αριθμητική Σταθερότητα

Use Cases

  • Εκπαίδευση μεγάλων μοντέλων
  • Επιτάχυνση GPU
  • Περιβάλλοντα με περιορισμένη μνήμη

Code Example

1
2
3
4
5
6
7

import torch
import torch.cuda.amp as amp

# Example snippet showing automatic mixed precision context
with amp.autocast():
    output = model(input)
    loss = criterion(output, target)

Related