ReLU

Definition

ReLU används flitigt i djupinlärningens neurala nätverk på grund av dess beräkningseffektivitet och förmåga att mildra problemet med försvinnande gradienter. Matematiskt definierad som f(x) = max(0, x), introducerar den icke-linjäritet i nätverket vilket är avgörande för att lära sig komplexa mönster.

Summary

Rectified Linear Unit är en aktiveringsfunktion som returnerar input direkt om den är positiv, annars noll.

Key Concepts

• Icke-linjäritet
• Aktiveringsfunktion
• Försvinnande gradient
• Styckvis linjär

Use Cases

• Dolda lager i konvolutionella neurala nätverk (CNN)
• Djupa feedforward-nätverk
• Modeller för bildigenkänning

Code Example

1
2

import torch.nn as nn
activation = nn.ReLU()

Related Terms

• Sigmoid (en annan aktiveringsfunktion)
• Tanh (hyperbolisk tangens-funktion)
• Leaky ReLU (variant som hanterar ‘döda’ neuroner)
• Neural Network (beräkningsmodell inspirerad av hjärnan)