Mixtral
term_id: mixtral
Category: basic_concepts
Definition
Mixtral, Açık Yoğun Uzmanlar (MoE) mimarisini kullanan öncü açık ağırlıklı bir LLM’dir. Her token için tüm parametrelerin kullanıldığı yoğun modellerin aksine, Mixtral her tokeni…
Summary
Her token için yalnızca parametrelerin bir alt kümesini aktive eden Mistral AI’ın Açık Yoğun Uzmanlar (MoE) büyük dil modeli.
Key Concepts
- Seyrek MoE
- Uzmanlar
- Yönlendirme
- Verimlilik
Use Cases
- Yüksek verimli çıkarım
- Karmaşık akıl yürütme görevleri
- Maliyet duyarlı üretim dağıtımları