MAUVE
term_id: mauve
Category: basic_concepts
Definition
MAUVE to miara statystyczna zaprojektowana do oceny, jak bardzo wyjście modelu językowego generującego przypomina ludzkie użycie języka. W przeciwieństwie do prostych wskaźników perplexity, MAUVE wykorzystuje wirtualne osadzenia
Summary
MAUVE (Measuring Alignment Using Virtual Embeddings – Pomiar zgodności za pomocą wirtualnych osadzeń) to metryka używana w przetwarzaniu języka naturalnego do oceny zgodności między rozkładem wygenerowanego tekstu a rozkładem tekstu napisanego przez ludzi.
Key Concepts
- Ocena generowania tekstu
- Dopasowanie rozkładów
- Wirtualne osadzenia
- Językowa naturalność
Use Cases
- Ewaluacja wyjść modeli typu GPT
- Dostrojenie modeli językowych pod kątem generowania tekstu przypominającego ludzki
- Benchmarkowanie wydajności SI generatywnej