sebeřízené učení
term_id: self_supervised
Category: training_techniques
Definition
Sebeřízené učení je podskupinou strojového učení, kde supervizní signál je odvozen automaticky přímo z dat, čímž se eliminuje potřeba ručního označování. Model typicky řeší pomocné úlohy (např. predikci chybějící části vstupu), což mu umožňuje naučit se užitečné vnitřní reprezentace dat pro pozdější použití.
Summary
Sebeřízené učení je technika, při které model generuje vlastní štítky z vstupních dat k učení reprezentací bez lidské annotace.
Key Concepts
- Pomocné úlohy (Pretext Tasks)
- Maskované modelování
- Neoznačená data
- Učení reprezentací
Use Cases
- Trénování BERT pomocí maskovaného jazykového modelování
- Kontrastní učení pro vložení obrázků (embeddings)
- Predikce dalších tokenů u velkých jazykových modelů