ReLU

term_id: relu

Category: basic_concepts

Definition

ReLU brukes mye i dype lærings-neurale nettverk på grunn av sin regneeffektivitet og evne til å dempe problemet med forsvinnende gradienter. Matematisk definert som f(x) = max(0, x), introduserer den ikke-linearitet i nettverket.

Summary

Rectified Linear Unit er en aktiveringsfunksjon som returnerer inndata direkte hvis de er positive, ellers null.

Key Concepts

  • Ikkje-linearitet
  • Aktiveringsfunksjon
  • Forsvinnende gradient
  • Stykkevis lineær

Use Cases

  • Skjulte lag i konvolusjonsneurale nettverk (CNN)
  • Dype matriseprosesseringsnettverk
  • Modeller for gjenkjenning av bilder

Code Example

1
2

import torch.nn as nn
activation = nn.ReLU()

Related