Self-Attention (Αυτο-προσοχή)
term_id: self_attention
Category: basic_concepts
Definition
Η αυτο-προσοχή επιτρέπει στα μοντέλα να αποτυπώνουν εξαρτήσεις μεταξύ όλων των θέσεων σε μια ακολουθία ταυτόχρονα, ανεξάρτητα από την απόσταση. Υπολογίζοντας βαθμολογίες προσοχής μεταξύ κάθε ζεύγους συμβόλων, επιτρέπει…
Summary
Μηχανισμός που επιτρέπει σε ένα νευρωνικό δίκτυο να ζυγίζει τη σημασία διαφορετικών τμημάτων της ακολουθίας εισόδου σε σχέση με το καθένα.
Key Concepts
- Ερώτηση-Κλειδί-Τιμή (Query-Key-Value)
- Βαθμολογίες Προσοχής
- Πλαίσιο Βάρους
- Παράλληλη Επεξεργασία
Use Cases
- Μηχανική μετάφραση
- Σύνοψη κειμένου
- Ταξινόμηση εικόνων μέσω Vision Transformers
Code Example
| |