Aktiveringsfunktion

term_id: activation_function

Category: basic_concepts

Definition

En aktiveringsfunktion introducerar icke-linearitet i ett neuralt nätverk, vilket möjliggör för det att lära sig komplexa mönster och relationer i data. Utan dessa funktioner skulle ett flernivåigt nätverk bete sig…

Summary

En matematisk ekvation som bestämmer utgången från en nod i ett neuralt nätverk baserat på dess insignal.

Key Concepts

  • Icke-linearitet
  • Gradientnedstigning
  • Neuronal aktivering
  • Backpropagering

Use Cases

  • Att möjliggöra klassificering av bilder med djupa neurala nätverk
  • Att underlätta uppgifter inom naturlig språkbehandling
  • Att förbättra konvergenshastigheten vid träning av generativa modeller

Code Example

1
2
3

import torch.nn as nn
relu = nn.ReLU()
output = relu(input_tensor)

Related