ReLU

term_id: relu

Category: basic_concepts

Definition

ReLU jest szeroko stosowana w sieciach neuronowych uczenia głębokiego ze względu na swoją efektywność obliczeniową oraz zdolność do łagodzenia problemu zanikającego gradientu. Zdefiniowana matematycznie jako f(x) = max(0, x), wprowadza nieliniowość, pozwalając sieciom na naukę złożonych wzorców.

Summary

Funkcja Rectified Linear Unit (ReLU) to funkcja aktywacji, która zwraca wartość wejściową bezpośrednio, jeśli jest dodatnia, w przeciwnym razie zwraca zero.

Key Concepts

  • Nieliniowość
  • Funkcja aktywacji
  • Problem zanikającego gradientu
  • Liniowość kawałkami

Use Cases

  • Warstwy ukryte w sieciach CNN
  • Głębokie sieci feedforward
  • Modele rozpoznawania obrazu

Code Example

1
2

import torch.nn as nn
activation = nn.ReLU()

Related