Funzione di Attivazione

term_id: activation_function

Category: basic_concepts

Definition

Una funzione di attivazione introduce non linearità in una rete neurale, consentendole di apprendere pattern e relazioni complessi all’interno dei dati. Senza queste funzioni, una rete multistrato si comporterebbe

Summary

Un’equazione matematica che determina l’output di un nodo di una rete neurale in base al suo segnale di ingresso.

Key Concepts

  • Non linearità
  • Discesa del gradiente
  • Attivazione del neurone
  • Backpropagation (Retropropagazione)

Use Cases

  • Abilitazione delle reti neurali profonde per la classificazione di immagini
  • Facilitazione delle attività di elaborazione del linguaggio naturale
  • Miglioramento della velocità di convergenza nell’addestramento di modelli generativi

Code Example

1
2
3

import torch.nn as nn
relu = nn.ReLU()
output = relu(input_tensor)

Related