FP8
term_id: fp8
Category: basic_concepts
Definition
Dấu phẩy động 8 (FP8) là một kiểu dữ liệu số học cân bằng giữa hiệu quả tính toán và độ chính xác, được tối ưu hóa cụ thể cho phần cứng AI hiện đại. Nó giảm yêu cầu băng thông bộ nhớ
Summary
FP8 là định dạng dấu phẩy động 8 bit được thiết kế để tăng tốc quá trình huấn luyện và suy luận học sâu trong khi vẫn duy trì mức độ chính xác chấp nhận được.
Key Concepts
- Lượng Tử Hóa
- Độ Chính Xác
- Băng Thông Bộ Nhớ
- Tăng Tốc Phần Cứng
Use Cases
- Huấn luyện Mô hình Ngôn Ngữ Lớn
- Suy luận AI biên
- Xử lý video thời gian thực