Função de Ativação

term_id: activation_function

Category: basic_concepts

Definition

Uma função de ativação introduz não-linearidade em uma rede neural, permitindo que ela aprenda padrões e relações complexos dentro dos dados. Sem essas funções, uma rede multicamela se comportaria

Summary

Uma equação matemática que determina a saída de um nó de rede neural com base em seu sinal de entrada.

Key Concepts

  • Não-linearidade
  • Descida do Gradiente
  • Ativação de Neurônio
  • Backpropagation (Propagação Reversa)

Use Cases

  • Permitir que redes neurais profundas classifiquem imagens
  • Facilitar tarefas de processamento de linguagem natural
  • Melhorar a velocidade de convergência no treinamento de modelos generativos

Code Example

1
2
3

import torch.nn as nn
relu = nn.ReLU()
output = relu(input_tensor)

Related