ReLU

term_id: relu

Category: basic_concepts

Definition

ReLU è ampiamente utilizzata nelle reti neurali profonde grazie alla sua efficienza computazionale e alla capacità di mitigare il problema del gradiente nullo. Matematicamente definita come f(x) = max(0, x), introduce non linearità nella rete permettendo l’apprendimento di pattern complessi.

Summary

La funzione unitaria lineare rettificata (ReLU) è una funzione di attivazione che restituisce l’input direttamente se positivo, altrimenti zero.

Key Concepts

  • Non linearità
  • Funzione di attivazione
  • Gradiente nullo (Vanishing Gradient)
  • Funzione lineare a tratti

Use Cases

  • Strati nascosti nelle CNN (Reti Neurali Convoluzionali)
  • Reti feedforward profonde
  • Modelli di riconoscimento di immagini

Code Example

1
2

import torch.nn as nn
activation = nn.ReLU()

Related