Mixtral
term_id: mixtral
Category: basic_concepts
Definition
Mixtral on edistyksellinen avoin suurkielimalli, joka käyttää harvinaisen asiantuntijoiden sekoituksen (Sparse MoE) -arkkitehtuuria. Toisin kuin tiheissä malleissa, joissa kaikki parametrit otetaan huomioon jokaiselle tokenille, Mixtral ohjaa jokaisen tokenin läpi
Summary
Mistral AI:n kehittämä harvinainen asiantuntijoiden sekoitus (MoE) -suurkielimalli, joka aktivoi vain osan parametreista jokaisen tokenin kohdalla.
Key Concepts
- Harvinainen MoE (Sparse MoE)
- Asiantuntijat (Experts)
- Reititys (Routing)
- Tehokkuus
Use Cases
- Korkea-läpimeno päättely (inference)
- Monimutkaiset päättelytehtävät
- Kustannusherkät tuotantokäytöt