Mixtral
term_id: mixtral
Category: basic_concepts
Definition
A Mixtral egy úttörő, nyílt súlyú nagy nyelvi modell, amely a Ritka Szakértők Keverékének (Sparse MoE) architektúráját használja. Ellentétben a sűrű modellekkel, ahol minden paramétert minden tokenhez felhasználják, a Mixtral minden tokent…
Summary
A Mistral AI által kifejlesztett, ritka szakértők keverékét (MoE) használó nagy nyelvi modell, amely tokenenként csak a paraméterek egy részhalmazát aktiválja.
Key Concepts
- Ritka MoE
- Szakértők
- Útválasztás (Routing)
- Hatékonyság
Use Cases
- Nagy áteresztőképességű következtetés
- Komplex logikai feladatok
- Költségérzékeny termelési telepítések