ReLU

term_id: relu

Category: basic_concepts

Definition

ReLU je široce používána v hlubokých neuronových sítích díky své výpočetní efektivitě a schopnosti zmírňovat problém mizejícího gradientu. Matematicky definována jako f(x) = max(0, x), zavádí nelinearitu (pozn.: text byl v zadání přerušen, překlad odpovídá kontextu).

Summary

Rectified Linear Unit je aktivační funkce, která vrací vstup přímo, pokud je kladný, jinak vrací nulu.

Key Concepts

  • Nelinearita
  • Aktivační funkce
  • Mizející gradient
  • Po částech lineární

Use Cases

  • Skryté vrstvy v konvolučních neuronových sítích (CNN)
  • Hluboké feedforwardové sítě
  • Modely pro rozpoznávání obrazu

Code Example

1
2

import torch.nn as nn
activation = nn.ReLU()

Related