αυτο-εποπτευόμενο
term_id: self_supervised
Category: training_techniques
Definition
Η αυτο-εποπτευόμενη μάθηση είναι ένα υποσύνολο της μηχανικής μάθησης όπου το σήμα εποπτείας προέρχεται αυτόματα από τα ίδια τα δεδομένα, εξαλείφοντας την ανάγκη για χειροκίνητη επισήμανση. Το μοντέλο συνήθως επιλύει
Summary
Η αυτο-εποπτευόμενη μάθηση είναι μια τεχνική κατά την οποία το μοντέλο δημιουργεί τις δικές του ετικέτες από τα δεδομένα εισόδου για να μάθει αναπαραστάσεις χωρίς ανθρώπινη επισήμανση.
Key Concepts
- Εργασίες Πρόφασης (Pretext Tasks)
- Μοντελοποίηση Маски (Masked Modeling)
- Δεδομένα χωρίς ετικέτα (Unlabeled Data)
- Μάθηση Αναπαραστάσεων (Representation Learning)
Use Cases
- Εκπαίδευση του BERT μέσω μοντελοποίησης γλώσσας με μάσκα
- Αντιπαραθετική μάθηση για ενσωματώσεις εικόνων
- Πρόβλεψη επόμενων tokens σε Γενικά Γλωσσικά Μοντέλα (LLMs)