FP8
term_id: fp8
Category: basic_concepts
Definition
8位浮点数（FP8）是一种数值数据类型，在现代AI硬件上进行了专门优化，以在计算效率和准确性之间取得平衡。它减少了内存带宽需求并提高了吞吐量，特别适用于大规模语言模型训练和边缘设备上的实时推理。
Summary
FP8是一种专为加速深度学习训练和推理而设计的8位浮点格式，同时保持可接受的精度水平。
Key Concepts
- 量化
- 精度
- 内存带宽
- 硬件加速
Use Cases
- 大语言模型训练
- 边缘AI推理
- 实时视频处理