FP8
term_id: fp8
Category: basic_concepts
Definition
Числовой тип данных FP8 (Floating-Point 8) обеспечивает баланс между вычислительной эффективностью и точностью, специально оптимизирован для современного аппаратного обеспечения ИИ. Он снижает требования к пропускной способности памяти
Summary
FP8 — это формат чисел с плавающей запятой разрядностью 8 бит, разработанный для ускорения обучения и вывода моделей глубокого обучения при сохранении приемлемого уровня точности.
Key Concepts
- Квантование
- Точность
- Пропускная способность памяти
- Аппаратное ускорение
Use Cases
- Обучение больших языковых моделей
- Вывод моделей на периферийных устройствах (Edge AI)
- Обработка видео в реальном времени