ReLU

Definition

ReLU se utiliza ampliamente en redes neuronales de aprendizaje profundo debido a su eficiencia computacional y capacidad para mitigar el problema del gradiente desvanecido. Definida matemáticamente como f(x) = max(0, x), introduce

Summary

La unidad lineal rectificada es una función de activación que devuelve la entrada directamente si es positiva, o cero en caso contrario.

Key Concepts

• No linealidad
• Función de activación
• Gradiente desvanecido
• Lineal a trozos

Use Cases

• Capas ocultas en CNN
• Redes feedforward profundas
• Modelos de reconocimiento de imágenes

Code Example

1
2

import torch.nn as nn
activation = nn.ReLU()

Related Terms

• Sigmoid (Función sigmoidea)
• Tanh (Función tangente hiperbólica)
• Leaky ReLU (ReLU filtrante)
• Neural Network (Red neuronal)