Mixtral
term_id: mixtral
Category: basic_concepts
Definition
Mixtral là một mô hình LLM trọng lượng mở tiên phong sử dụng kiến trúc Hỗn hợp Chuyên gia Loãng (Sparse MoE). Khác với các mô hình đặc (dense) nơi tất cả các tham số đều được sử dụng cho mọi token, Mixtral định tuyến mỗi token qua
Summary
Một mô hình ngôn ngữ lớn (LLM) Hỗn hợp Chuyên gia Loãng (MoE) của Mistral AI, chỉ kích hoạt một tập hợp con các tham số cho mỗi token.
Key Concepts
- Sparse MoE (Hỗn hợp chuyên gia loãng)
- Chuyên gia (Experts)
- Định tuyến (Routing)
- Hiệu quả
Use Cases
- Suy luận thông lượng cao
- Các tác vụ suy luận phức tạp
- Triển khai sản xuất nhạy cảm về chi phí