ReLU

Definition

ReLU wordt veel gebruikt in neurale netwerken voor deep learning vanwege zijn rekenkundige efficiëntie en vermogen om het probleem van vervagende gradiënten te verzachten. Wiskundig gedefinieerd als f(x) = max(0, x), introduceert het niet-lineariteit.

Summary

Rectified Linear Unit is een activatiefunctie die de invoer direct uitvoert als deze positief is, anders nul.

Key Concepts

• Niet-lineariteit
• Activatiefunctie
• Vervagende gradiënt
• Stuksgewijs lineair

Use Cases

• Verborgen lagen in CNN’s
• Diepe feedforward-netwerken
• Modellen voor beeldherkenning

Code Example

1
2

import torch.nn as nn
activation = nn.ReLU()

Related Terms

• Sigmoid (sigmoidfunctie)
• Tanh (hyperbolische tangens)
• Leaky ReLU (lekke rectified linear unit)
• Neural Network (neuraal netwerk)