Tislaus
term_id: distillation
Category: training_techniques
Definition
Tämä prosessi sisältää tietojen siirtämisen monimutkaisesta, korkeasuorituskykyisestä ‘opettaja’-neuraaliverkosta yksinkertaisempaan ja tehokkaampaan ‘opiskelija’-verkkoon. Opiskelija oppii ei vain kovista luokitteluarvoista vaan myös pehmeistä todennäköisyysjakaumista, mikä mahdollistaa tiedon tehokkaamman siirtymisen.
Summary
Tietotiedon tislaus on mallin purkamistekniikka, jossa pienempi opiskelijamalli oppii jäljittelemään suuremman opettajamallin käyttäytymistä.
Key Concepts
- Opettaja-opiskelija-arkkitehtuuri
- Pehmeät kohderyhmät
- Mallin purkaminen
- Johtopäätösten tehokkuus
Use Cases
- Suurten kielimallien käyttöönotto matkapuhelimissa
- Viiveen vähentäminen reaaliaikaisissa tietokonenäkösovelluksissa
- Syvien oppimismallien optimointi reunalaskenta-ympäristöissä