ReLU

Definition

A ReLU é amplamente utilizada em redes neurais de aprendizado profundo devido à sua eficiência computacional e capacidade de mitigar o problema do gradiente desaparecente. Definida matematicamente como f(x) = max(0, x), ela introduz não linearidade na rede, permitindo que o modelo aprenda padrões complexos.

Summary

Unidade Linear Retificada é uma função de ativação que retorna a entrada diretamente se for positiva, caso contrário, retorna zero.

Key Concepts

• Não-linearidade
• Função de Ativação
• Gradiente Desaparecente
• Linear por Partes

Use Cases

• Camadas ocultas em Redes Neurais Convolucionais (CNNs)
• Redes Feedforward Profundas
• Modelos de Reconhecimento de Imagens

Code Example

1
2

import torch.nn as nn
activation = nn.ReLU()

Related Terms

• Sigmoid (Função de ativação sigmoide)
• Tanh (Função tangente hiperbólica)
• Leaky ReLU (Variante da ReLU que permite pequenos gradientes para valores negativos)
• Rede Neural (Modelo computacional inspirado no cérebro)