FP8
term_id: fp8
Category: basic_concepts
Definition
Floating-point 8 (FP8) is een numeriek gegevenstype dat een balans biedt tussen rekenkundige efficiëntie en nauwkeurigheid, specifiek geoptimaliseerd voor moderne AI-hardware. Het vermindert de vereiste geheugenbandbreedte
Summary
FP8 is een 8-bit drijvende-kommavormaat dat is ontworpen om de training en inferentie van diepe leermodellen te versnellen, terwijl het aanvaardbare precisieniveaus behoudt.
Key Concepts
- Kwantisering
- Precisie
- Geheugenbandbreedte
- Hardwareversnelling
Use Cases
- Training van Large Language Models
- Edge AI-inferentie
- Realtime videobewerking