Aktivační funkce

term_id: activation_function

Category: basic_concepts

Definition

Aktivační funkce zavádí do neuronové sítě nelinearitu, což jí umožňuje učit se složité vzory a vztahy v datech. Bez těchto funkcí by vícevrstvá síť chovala…

Summary

Matematická rovnice, která určuje výstup uzlu neuronové sítě na základě jeho vstupního signálu.

Key Concepts

  • Nelinearita
  • Gradientní sestup
  • Aktivace neuronu
  • Zpětné šíření chyby

Use Cases

  • Umožnění hlubokým neuronovým sítím klasifikovat obrázky
  • Usnadňování úloh zpracování přirozeného jazyka
  • Zlepšování rychlosti konvergence při trénování generativních modelů

Code Example

1
2
3

import torch.nn as nn
relu = nn.ReLU()
output = relu(input_tensor)

Related