FP8
term_id: fp8
Category: basic_concepts
Definition
Flydende-komma 8 (FP8) er en numerisk datatype, der tilbyder en balance mellem beregningsmæssig effektivitet og nøjagtighed, specifikt optimeret til moderne AI-hardware. Det reducerer behovet for hukommelsesbåndbredde
Summary
FP8 er en 8-bit flydende-komma-format designet til at accelerere træning og inferens af dyb læring, mens det opretholder acceptabel præcision.
Key Concepts
- Kvantisering
- Præcision
- Hukommelsesbåndbredde
- Hardwareacceleration
Use Cases
- Træning af store sprogmodeller
- Edge AI-inferens
- Realtidsvideobehandling