Mixtral

Definition

Mixtral adalah LLM bobot terbuka perintis yang memanfaatkan arsitektur Sparse Mixture of Experts (MoE). Tidak seperti model padat di mana semua parameter digunakan untuk setiap token, Mixtral mengarahkan setiap token melalui

Summary

Model bahasa besar (LLM) Sparse Mixture of Experts (MoE) oleh Mistral AI yang hanya mengaktifkan sebagian parameter per token.

Key Concepts

• Sparse MoE
• Ahli
• Pengalihan
• Efisiensi

Use Cases

• Inferensi throughput tinggi
• Tugas penalaran kompleks
• Penyebaran produksi sensitif biaya

Related Terms

• Mistral (Mistral)
• Mixture of Experts (Campuran Ahli)
• LLaMA (LLaMA)
• Sparsity (Kesparsian)