Funkcja aktywacji

term_id: activation_function

Category: basic_concepts

Definition

Funkcja aktywacji wprowadza nieliniowość do sieci neuronowej, umożliwiając jej naukę złożonych wzorców i zależności w danych. Bez tych funkcji wielowarstwowa sieć zachowywałaby się…

Summary

Równanie matematyczne określające wyjście węzła sieci neuronowej na podstawie jej sygnału wejściowego.

Key Concepts

  • Nieliniowość
  • Spadek gradientu
  • Aktywacja neuronu
  • Backpropagation (Propagacja zwrotna)

Use Cases

  • Umożliwianie głębokim sieciom neuronowym klasyfikacji obrazów
  • Ułatwianie zadań przetwarzania języka naturalnego
  • Poprawa prędkości zbieżności podczas trenowania modeli generatywnych

Code Example

1
2
3

import torch.nn as nn
relu = nn.ReLU()
output = relu(input_tensor)

Related