ReLU

term_id: relu

Category: basic_concepts

Definition

A ReLU széles körben használt a mélytanuló neurális hálózatokban számítási hatékonysága és a „szűnő gradiens” (vanishing gradient) probléma enyhítése miatt. Matematikailag az f(x) = max(0, x) képlettel definiálják, így nemlineáris tulajdonságokat vezet be a hálózatba.

Summary

A Rectified Linear Unit (ReLU) egy aktivációs függvény, amely pozitív bemenet esetén közvetlenül visszaadja azt, ellenkező esetben nullát ad ki.

Key Concepts

  • Nemlinearitás
  • Aktivációs függvény
  • Szűnő gradiens
  • Darabonként lineáris

Use Cases

  • Rejtett rétegek konvolúciós neurális hálózatokban (CNN)
  • Mély előrefelé irányuló hálózatok
  • Képfelismerő modellek

Code Example

1
2

import torch.nn as nn
activation = nn.ReLU()

Related