Προσοχή
term_id: attention
Category: training_techniques
Definition
Οι μηχανισμοί προσοχής επιτρέπουν στα μοντέλα να εστιάζουν σε σχετικές πληροφορίες κατά την επεξεργασία εισόδων, ιδιαίτερα σε διαδοχικά δεδομένα όπως το κείμενο. Υπολογίζοντας σκορ προσοχής, το μοντέλο καθορίζει ποια στοιχεία της εισόδου πρέπει να λάβουν περισσότερη βαρύτητα.
Summary
Μηχανισμός που επιτρέπει στα νευρωνικά δίκτυα να ζυγίζουν δυναμικά τη σημασία διαφορετικών τμημάτων της ακολουθίας εισόδου.
Key Concepts
- Αυτο-Προσοχή
- Πλαίσιο Βάρους
- Εξάρτηση Μακράς Εμβέλειας
- Αρχιτεκτονική Μετασχηματιστή
Use Cases
- Μηχανική μετάφραση μεταξύ γλωσσών
- Σύνοψη μεγάλων εγγράφων
- Περιγραφή εικόνων και απάντηση σε οπτικές ερωτήσεις