Función de Activación

term_id: activation_function

Category: basic_concepts

Definition

Una función de activación introduce no linealidad en una red neuronal, lo que le permite aprender patrones y relaciones complejas dentro de los datos. Sin estas funciones, una red multicapa se comportaría como una simple transformación lineal, limitando severamente su capacidad de aprendizaje.

Summary

Una ecuación matemática que determina la salida de un nodo de una red neuronal basándose en su señal de entrada.

Key Concepts

  • No Linealidad
  • Descenso del Gradiente
  • Activación de Neuronas
  • Retropropagación

Use Cases

  • Habilitar redes neuronales profundas para clasificar imágenes
  • Facilitar tareas de procesamiento del lenguaje natural
  • Mejorar la velocidad de convergencia al entrenar modelos generativos

Code Example

1
2
3

import torch.nn as nn
relu = nn.ReLU()
output = relu(input_tensor)

Related