ReLU

Definition

ReLU este utilizată pe scară largă în rețelele neuronale de învățare profundă datorită eficienței sale computaționale și capacității de a atenua problema gradientului care dispare. Definită matematic ca f(x) = max(0, x), introduce non-linearitate în rețea permițând învățarea de reprezentări complexe.

Summary

Unitatea Linară Rectificată este o funcție de activare care returnează intrarea direct dacă este pozitivă, în caz contrar zero.

Key Concepts

• Non-linearitate
• Funcție de activare
• Gradient care dispare
• Piecewise linear (liniar pe porțiuni)

Use Cases

• Straturi ascunse în rețelele convoluționale (CNN)
• Rețele de alimentare profundă (Deep Feedforward Networks)
• Modele de recunoaștere a imaginilor

Code Example

1
2

import torch.nn as nn
activation = nn.ReLU()

Related Terms

• Sigmoid (o funcție de activare s-shaped)
• Tanh (funcția tangenta hiperbolică)
• Leaky ReLU (o variantă a ReLU care permite un gradient mic negativ)
• Neural Network (rețea neuronală)