Mistral Common
term_id: mistral_common
Category: basic_concepts
Definition
Mistral Common on Mistral AI:n ylläpitämä Python-paketti, joka tarjoaa standardoidut työkalut mallien käsittelyyn. Se tarjoaa ensisijaisesti tokenisoijan toteutuksen, joka on välttämätön tekstin muuntamiseksi
Summary
Jaettu kirjasto, joka tarjoaa tokenisointi- ja apufunktiot yhteensopivia eri Mistral AI -mallimuunteluiden kanssa.
Key Concepts
- Tokenisoija (Tokenizer)
- Esikäsittely (Preprocessing)
- Kirjasto
- Integraatio
Use Cases
- Tekstin tokenisointi
- Mallin syötteen valmistelu
- Lähdetekstin dekoodaus