Aktiveringsfunksjon

term_id: activation_function

Category: basic_concepts

Definition

En aktiveringsfunksjon introduserer ikke-linearitet i et nevralt nettverk, noe som gjør det mulig for nettverket å lære komplekse mønstre og relasjoner i data. Uten disse funksjonene ville et flerlagsnettverk oppføre seg…

Summary

En matematisk likning som bestemmer utgangen til en nøytron i et nevralt nettverk basert på inngangssignalet.

Key Concepts

  • Ikkje-linearitet
  • Gradientnedstigning
  • Nøytronaktivering
  • Tilbakepropagering

Use Cases

  • Muliggjøring av klassifisering av bilder i dype nevrale nettverk
  • Understøttelse av oppgaver innen naturlig språkbehandling
  • Forbedring av konvergenshastigheten under trening av generative modeller

Code Example

1
2
3

import torch.nn as nn
relu = nn.ReLU()
output = relu(input_tensor)

Related