ReLU
term_id: relu
Category: basic_concepts
Definition
Η ReLU χρησιμοποιείται ευρέως στα νευρωνικά δίκτυα βαθιάς μάθησης λόγω της υπολογιστικής της αποδοτικότητας και της ικανότητάς της να μετριάζει το πρόβλημα της εξαφανιζόμενης παραγώγου. Ορίζεται μαθηματικά ως f(x) = max(0, x), εισάγοντας μη γραμμικότητα στο δίκτυο.
Summary
Η Rectified Linear Unit είναι μια συνάρτηση ενεργοποίησης που επιστρέφει την είσοδο απευθείας αν είναι θετική, διαφορετικά μηδέν.
Key Concepts
- Μη Γραμμικότητα
- Συνάρτηση Ενεργοποίησης
- Εξαφανιζόμενη Παράγωγος
- Κομματιαστή Γραμμική Συνάρτηση
Use Cases
- Κρυφές στρώσεις σε CNNs
- Βαθιά Δίκτυα Προώθησης
- Μοντέλα Αναγνώρισης Εικόνας
Code Example
| |