Funcție de Activare

term_id: activation_function

Category: basic_concepts

Definition

O funcție de activare introduce non-linearitate într-o rețea neuronală, permițându-i să învețe modele și relații complexe în date. Fără aceste funcții, o rețea stratificată s-ar comporta…

Summary

O ecuație matematică care determină ieșirea unui nod dintr-o rețea neuronală pe baza semnalului său de intrare.

Key Concepts

  • Non-linearitate
  • Descendența Gradientului
  • Activarea Neuronului
  • Propagarea Înapoi (Backpropagation)

Use Cases

  • Permiterea rețelelor neuronale profunde de a clasifica imagini
  • Facilitarea sarcinilor de procesare a limbajului natural
  • Îmbunătățirea vitezei de convergență în antrenarea modelelor generative

Code Example

1
2
3

import torch.nn as nn
relu = nn.ReLU()
output = relu(input_tensor)

Related