LLM-tuomari
term_id: llm_as_a_judge
Category: application_paradigms
Definition
LLM-tuomari on arviointiparadigma, jossa suuri kielimalli toimii automaattisena arvioijana muiden mallien tuotosten laadulle. Sen sijaan, että luotettaisiin yksinomaan ihmisten tekemiin merkintöihin tai tiukoihin sääntöihin, LLM arvioi vastauksia kontekstin ja laatukriteerien perusteella.
Summary
Menetelmä suurten kielimallien (LLM) tulosten arviointiin käyttämällä toista LLM:tä vastausten pisteytiseen tai sijoittamiseen kriteerien perusteella.
Key Concepts
- Automaattinen arviointi
- Prompt-insinööritaito
- Mallien kohdentaminen
- Laatumittarit
Use Cases
- RLHF-mallien vertailuarviointi
- Luovan kirjoituksen arviointi
- Turvallisuus- ja harha-analyysi