ReLU

term_id: relu

Category: basic_concepts

Definition

ReLU er meget udbredt i neurale netværk inden for deep learning på grund af sin beregningsmæssige effektivitet og evne til at afhjælpe problemet med forsvindende gradienter. Matematisk defineret som f(x) = max(0, x), introducerer den ikke-linearitet.

Summary

Rectified Linear Unit (Rektificeret Lineær Enhed) er en aktiveringsfunktion, der returnerer inputtet direkte, hvis det er positivt, ellers nul.

Key Concepts

  • Ikke-linearitet
  • Aktiveringsfunktion
  • Forsvindende gradient
  • Stykkevis lineær

Use Cases

  • Skjulte lag i CNN’er (Convolutional Neural Networks)
  • Dybe feedforward-netværk
  • Billedgenkendelsesmodeller

Code Example

1
2

import torch.nn as nn
activation = nn.ReLU()

Related