Aktivációs függvény

term_id: activation_function

Category: basic_concepts

Definition

Az aktivációs függvény nemlinearitást vezet be a neurális hálózatba, lehetővé téve számára, hogy komplex mintázatokat és összefüggéseket tanuljon meg az adatokban. Ezek nélkül egy többrétegű hálózat lineáris viselkedést mutatna…

Summary

Egy matematikai egyenlet, amely meghatározza egy neurális hálózati csomópont kimenetét a bemeneti jel alapján.

Key Concepts

  • Nemlinearitás
  • Gradiens lejtmenet
  • Neuron aktiválás
  • Visszaterjedés (Backpropagation)

Use Cases

  • Mély neurális hálózatok képbesorolásának lehetővé tétele
  • Természetes nyelvi feldolgozási feladatok támogatása
  • A konvergencia sebességének javítása generatív modellek tanítása során

Code Example

1
2
3

import torch.nn as nn
relu = nn.ReLU()
output = relu(input_tensor)

Related