Activatiefunctie

term_id: activation_function

Category: basic_concepts

Definition

Een activatiefunctie introduceert nonlineariteit in een neuraal netwerk, waardoor het complexe patronen en relaties binnen gegevens kan leren. Zonder deze functies zou een gelaagd netwerk zich gedragen als…

Summary

Een wiskundige vergelijking die de uitvoer van een neurale netwerknodo bepaalt op basis van zijn ingangssignaal.

Key Concepts

  • Nonlineariteit
  • Gradient Descent (Gradiëntdaaldaling)
  • Neuronactivatie
  • Backpropagation (Terugpropageren)

Use Cases

  • Mogelijk maken dat diepe neurale netwerken afbeeldingen classificeren
  • Vergemakkelijken van taken voor natuurlijke taalverwerking
  • Verbeteren van de convergentiesnelheid bij het trainen van generatieve modellen

Code Example

1
2
3

import torch.nn as nn
relu = nn.ReLU()
output = relu(input_tensor)

Related