FP8
term_id: fp8
Category: basic_concepts
Definition
Float Point 8 (FP8) je číselný datový typ, který nabízí rovnováhu mezi výpočetní účinností a přesností, specificky optimalizovaný pro moderní hardwarové platformy AI. Snižuje nároky na šířku pásma paměti a spotřebu energie, což umožňuje rychlejší zpracování velkých modelů, zejména při tréninku velkých jazykových modelů a inferenci na okrajových zařízeních.
Summary
FP8 je formát plovoucí řádu s 8 bity navržený pro zrychlení tréninku a inferenčních procesů hlubokého učení při zachování přijatelné úrovně přesnosti.
Key Concepts
- Kvantizace
- Přesnost
- Šířka pásma paměti
- Hardwarová akcelerace
Use Cases
- Trénink velkých jazykových modelů
- Inference AI na okrajových zařízeních (Edge AI)
- Zpracování videa v reálném čase